SUI

리드 알베르가티: (소개) ... 저는 세마포의 기술 편집자인 리드 알베르가티입니다. 오늘은 Google DeepMind의 최고 AGI 과학자이자 공동 창립자인 셰인 레그와 함께합니다. 그는 인공 일반 지능(AGI)이라는 용어를 대중화시킨 인물입니다. ... 당신은 런던에서 계산 신경 과학을 공부하던 시절 데미스 허사비스를 만나 DeepMind를 공동 창립했습니다. 계산 신경 과학이 무엇이고, 어떻게 지금 하고 있는 일로 이어졌는지 설명해 주시겠어요? 셰인 레그: 사실 저는 계산 신경 과학자가 아니었고, 그 분야에서 일한 적도 없습니다. ... 제가 스위스에서 인공 지능에 대한 박사 과정을 밟고 있을 때 계산 신경 과학에 대해 조금씩 읽기 시작했습니다. ... 사람들이 계산 신경 과학에서 얻은 흥미로운 ..

https://schedule.sxsw.com/2024/events/PP135283 셰인레그는 AGI를 사람이 할 수 있는 다양한 인지 작업을 수행할 수 있는 인공 시스템으로 정의합니다. 세인레그는 2028년까지 AGI가 개발될 확률을 50%로 예측하며, 현재 딥러닝과 컴퓨팅 파워의 발전을 고려할 때 이 예측이 여전히 유효하다고 봅니다. 세인레그는 현재 AI 시스템이 인간 수준의 능력에는 미치지 못하며, 추론, 계획, 사실성 등에서 개선이 필요하다고 말합니다. AGI의 잠재적인 위험성으로는 오용, 목표 불일치, 사회적 영향 등이 언급됩니다. 그러나 레그는 AI 윤리 및 안전 연구가 활발해지고 있다는 점에 긍정적인 면을 봅니다. 기업 간의 AI 개발 경쟁은 빠른 발전을 이끌지만, 위험성을 간과할 수 있다는..

https://arxiv.org/abs/2307.06304 Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution The ubiquitous and demonstrably suboptimal choice of resizing images to a fixed resolution before processing them with computer vision models has not yet been successfully challenged. However, models such as the Vision Transformer (ViT) offer flexible sequ arxiv.org 1. 현재 컴퓨터 비전 모델에서 이..

https://arxiv.org/abs/2307.04721 Large Language Models as General Pattern Machines We observe that pre-trained large language models (LLMs) are capable of autoregressively completing complex token sequences -- from arbitrary ones procedurally generated by probabilistic context-free grammars (PCFG), to more rich spatial patterns found in arxiv.org https://general-pattern-machines.github.io/ Large..

https://arxiv.org/abs/2307.03170 Focused Transformer: Contrastive Training for Context Scaling Large language models have an exceptional capability to incorporate new information in a contextual manner. However, the full potential of such an approach is often restrained due to a limitation in the effective context length. One solution to this issue arxiv.org 1. 대형 언어 모델은 새로운 정보를 문맥에 맞게 통합하는 뛰어난 ..

https://arxiv.org/abs/2307.02486 LongNet: Scaling Transformers to 1,000,000,000 Tokens Scaling sequence length has become a critical demand in the era of large language models. However, existing methods struggle with either computational complexity or model expressivity, rendering the maximum sequence length restricted. In this work, we intr arxiv.org https://github.com/microsoft/torchscale GitH..

https://arxiv.org/abs/2306.15448 Understanding Social Reasoning in Language Models with Language Models As Large Language Models (LLMs) become increasingly integrated into our everyday lives, understanding their ability to comprehend human mental states becomes critical for ensuring effective interactions. However, despite the recent attempts to assess the T arxiv.org 1. 대형 언어 모델(LLM)이 우리 일상에 점점..

https://arxiv.org/abs/2306.15400 Length Generalization in Arithmetic Transformers We examine how transformers cope with two challenges: learning basic integer arithmetic, and generalizing to longer sequences than seen during training. We find that relative position embeddings enable length generalization for simple tasks, such as additi arxiv.org 1. 우리는 트랜스포머가 기본 정수 산술을 학습하고, 훈련 중에 본 것보다 더 긴 시퀀스..

https://arxiv.org/abs/2306.14892 Supervised Pretraining Can Learn In-Context Reinforcement Learning Large transformer models trained on diverse datasets have shown a remarkable ability to learn in-context, achieving high few-shot performance on tasks they were not explicitly trained to solve. In this paper, we study the in-context learning capabilities o arxiv.org 1. 다양한 데이터셋에서 훈련된 대형 트랜스포머 모델은 ..

https://arxiv.org/abs/2306.14884 Learning to Modulate pre-trained Models in RL Reinforcement Learning (RL) has been successful in various domains like robotics, game playing, and simulation. While RL agents have shown impressive capabilities in their specific tasks, they insufficiently adapt to new tasks. In supervised learning, this arxiv.org 1. 강화 학습(RL)은 로봇 공학, 게임 플레이, 시뮬레이션 등 다양한 분야에서 성공적으로 ..