https://arxiv.org/abs/2306.01711
OMNI: Open-endedness via Models of human Notions of Interestingness
Open-ended algorithms aim to learn new, interesting behaviors forever. That requires a vast environment search space, but there are thus infinitely many possible tasks. Even after filtering for tasks the current agent can learn (i.e., learning progress), c
arxiv.org
https://twitter.com/jeffclune/status/1666082258888056834
이 논문에서는 더 강력한 AI 또는 심지어 AGI를 만드는 것의 잠재적 이익과 AI가 새로운 패러다임을 발견하는 능력을 가져야 하는 필요성에 대해 논의하고 있습니다.
1. 개방형 알고리즘은 새롭고 흥미로운 행동을 계속 배우는 것을 목표로 합니다. 이를 위해서는 방대한 환경 검색 공간이 필요하지만, 따라서 무한히 많은 가능한 작업이 존재합니다. 현재의 에이전트가 배울 수 있는 작업들로 필터링을 해도 (즉, 학습 진행), 여전히 수없이 많은 배울 수 있지만 흥미롭지 않은 작업들이 남아 있습니다(예를 들어, 이전에 배운 작업의 사소한 변형).
2. 개방형 연구의 약점은 배울 수 있을 뿐만 아니라 흥미로운(예를 들어, 가치있고 새로운) 작업을 양적으로 측정하고(따라서 우선 순위를 정하는 것) 할 수 없다는 것입니다. 우리는 이 문제를 'Open-endedness via Models of human Notions of Interestingness'(OMNI)를 통해 해결하려고 합니다.
3. 중요한 통찰력은 우리가 대형(언어) 모델을 흥미로움의 모델로 사용할 수 있다는 것입니다. 왜냐하면 이 모델들은 이미 인간이 흥미롭거나 지루하다고 생각하는 것에 대해 많은 양의 인간 생성 데이터를 훈련하면서 인간의 흥미로움 개념을 내재화하기 때문입니다. 우리는 LM 기반의 MoI가 배울 수 있고 흥미로운 작업에 집중함으로써 개방형 학습을 개선하고, 균일한 작업 샘플링이나 단독 학습 진행에 기반한 기준을 능가함을 보여줍니다. 이 접근법은 다음에 어떤 작업에 집중할지를 지능적으로 선택하는 능력을 크게 향상시킬 가능성이 있으며, AI가 스스로 배울 다음 작업을 선택하는 것으로 볼 수 있어, 자기 향상(self-improving)AI와 AI 생성 알고리즘을 촉진할 수 있습니다.
'AI > etc' 카테고리의 다른 글
| Mind2Web: 웹용 제너럴리스트 에이전트를 향하여 (1) | 2023.06.18 |
|---|---|
| 언어 모델을 사용한 인증된 추론 (0) | 2023.06.08 |
| 트랜스포머의 길이 일반화에 대한 위치 인코딩의 영향 (0) | 2023.06.03 |
| 생각 복제: 인간의 생각을 모방하여 행동하면서 생각하는 법 배우기 (0) | 2023.06.03 |
| 인간인가 아닌가? 튜링 테스트에 대한 게임화된 접근 방식 (0) | 2023.06.01 |