SUI

나는 다시 한 번 인간 수준의 AGI가 변경되지 않고 도착할 것이라는 내 예측을 남겨두기로 결정했습니다. 즉, 핵전쟁과 같은 미친 짓은 일어나지 않는다는 가정하에 평균 2028년과 최빈값 2025년의 로그 정규 분포를 제공합니다. 나는 또한 향후 8년 이내에 인상적인 프로토-AGI를 볼 것으로 기대하는 이 예측에 추가하고 싶습니다. 이것은 기본적인 시각, 기본적인 소리 처리, 기본적인 움직임 제어 및 기본적인 언어 능력을 갖춘 시스템을 의미하며, 이 모든 것이 사전 프로그래밍되기보다는 본질적으로 학습됩니다. 또한 새로운 문제를 포함하여 다양한 간단한 문제를 해결할 수 있습니다. - 특이점 타임라인 2025~2040 - 인간 수준의 AI는 2020년대 중반에 통과될 것이지만 많은 사람들이 이런 일이 일어났..

https://arxiv.org/abs/2305.20010 Human or Not? A Gamified Approach to the Turing Test We present "Human or Not?", an online game inspired by the Turing test, that measures the capability of AI chatbots to mimic humans in dialog, and of humans to tell bots from other humans. Over the course of a month, the game was played by over 1.5 million arxiv.org 1. 우리는 튜링 테스트에 영감을 받은 온라인 게임인 "Human or Not?"..

Chinchilla 스케일링 법칙 확장 설명: https://twitter.com/Muennighoff/status/1661895337248686081 트위터에서 즐기는 Niklas Muennighoff “How to keep scaling Large Language Models when data runs out? 🎢 We train 400 models with up to 9B params & 900B tokens to create an extension of Chinchilla scaling laws for repeated data. Results are interesting… 🧐 📜: https://t.co/586bWwvpba twitter.com 1. 이 연구에서는 데이터 제한 조건에서 언어 모델을..

abs: https://arxiv.org/abs/2305.19476 Accelerating Reinforcement Learning with Value-Conditional State Entropy Exploration A promising technique for exploration is to maximize the entropy of visited state distribution, i.e., state entropy, by encouraging uniform coverage of visited state space. While it has been effective for an unsupervised setup, it tends to struggle in a su arxiv.org code: ht..

abs: https://arxiv.org/abs/2305.19370 Blockwise Parallel Transformer for Long Context Large Models Transformers have emerged as the cornerstone of state-of-the-art natural language processing models, showcasing exceptional performance across a wide range of AI applications. However, the memory demands posed by the self-attention mechanism and the large arxiv.org 1. 트랜스포머 모델은 다양한 AI 응용 분야에서 최첨단 자..

Sam Altman에 따른 OpenAI의 계획 지난 주 저는 Sam Altman 및 20명의 다른 개발자와 함께 OpenAI의 API 및 제품 계획에 대해 논의할 수 있는 특권을 가졌습니다. Sam은 놀라울 정도로 개방적이었습니다. OpenAI의 사명과 AI의 사회적 영향과 관련된 더 큰 그림 질문뿐만 아니라 실용적인 개발자 문제에 대한 토론이 이루어졌습니다. 주요 내용은 다음과 같습니다. 1. OpenAI는 현재 GPU에 크게 제한되어 있습니다. 토론 내내 공통된 주제는 현재 OpenAI가 극도로 GPU 제한적이며 이로 인해 많은 단기 계획이 지연되고 있다는 것입니다. 가장 큰 고객 불만은 API의 안정성과 속도에 대한 것이었습니다. Sam은 그들의 우려를 인정하고 대부분의 문제가 GPU 부족의 결과라..

최근 몇 년 동안 대규모 언어 모델은 복잡한 다단계 추론 수행 능력에서 크게 향상되었습니다. 그러나 최첨단 모델들조차 종종 '환각'이라고 불리는 논리적 오류를 만들어냅니다. 이러한 환각을 완화하는 것은 AGI(인공 일반 지능)를 구축하는 데 있어 중요한 단계입니다. 우리는 결과 감독법(최종 결과에 대한 피드백 제공) 또는 과정 감독법(사고의 연쇄에서 각 단계에 대한 피드백 제공)을 사용하여 환각을 감지하는 보상 모델을 훈련시킬 수 있습니다. 이전 연구에 이어, 우리는 MATH 데이터셋을 실험대로 사용하여 이 두 방법을 자세히 비교하였습니다. 우리의 발견은 과정 감독법이 결과에 의해 판단될 때조차 훨씬 더 좋은 성능을 보인다는 것입니다. 이와 관련된 연구를 장려하기 위해, 우리는 과정 감독법에 대한 전체 ..

https://penn-pal-lab.github.io/LIV/ LIV LIV as Representation for Language-Conditioned BC We use LIV's frozen multi-modal representation as backbone for LCBC and achieve impressive performance (46% success rate, absolute ~30% better than the second best baseline) on a challenging real-world muli penn-pal-lab.github.io 설명: https://twitter.com/JasonMa2020/status/1663618652778942464 트위터에서 즐기는 Jason..

2020년 12월에 맥스 호닥은 AGI 까지 10년이 채 남지 않았다는 트윗을 남겼습니다. 2021년 3월 5일 openai에서 multimodal neuron을 발견했다는 발표(https://openai.com/research/multimodal-neurons) 이후에는 이 시점에서 AGI는 거의 확실하게 하드웨어 문제라고 말합니다. 2022년 딥마인드의 제너럴리스트 에이전트 GATO(https://www.deepmind.com/publications/a-generalist-agent) 가 발표된 이후에는 이제 1세대 AGI가 마지막 단계에 도달했다며 안전벨트를 매야 한다는 트윗을 남깁니다. 종합해보면 맥스호닥도 AGI 타임라인이 매우 짧은 편이며 곧 도래한다는 생각을 가지고 있는 것 같습니다.

abs: https://arxiv.org/abs/2305.18390 github: https://github.com/THUNLP/modularity-analysis Emergent Modularity in Pre-trained Transformers This work examines the presence of modularity in pre-trained Transformers, a feature commonly found in human brains and thought to be vital for general intelligence. In analogy to human brains, we consider two main characteristics of modularity: (1) functi a..