https://arxiv.org/abs/2305.20010
Human or Not? A Gamified Approach to the Turing Test
We present "Human or Not?", an online game inspired by the Turing test, that measures the capability of AI chatbots to mimic humans in dialog, and of humans to tell bots from other humans. Over the course of a month, the game was played by over 1.5 million
arxiv.org
1. 우리는 튜링 테스트에 영감을 받은 온라인 게임인 "Human or Not?"을 제시한다. 이 게임은 AI 챗봇이 대화에서 인간을 모방하는 능력과, 사람들이 챗봇과 다른 사람들을 구분하는 능력을 측정한다.
2. 한 달 동안, 게임은 150만 명 이상의 사용자들에 의해 플레이되었으며, 사용자들은 다른 사람 혹은 인간처럼 행동하도록 유도된 AI 언어 모델과 익명의 2분간의 채팅 세션을 진행하였다. 플레이어들의 임무는 그들이 사람이나 AI와 대화했는지를 정확하게 추측하는 것이었다.
3. 이번에 실시된 가장 큰 규모의 튜링 스타일 테스트는 몇 가지 흥미로운 사실을 드러냈다. 예를 들어, 전체 사용자들은 게임에서 그들의 파트너의 신원을 68%만큼 정확하게 추측했었다. 사용자들이 AI 봇을 상대로 한 게임의 부분 집합에서는, 사용자들의 정확한 추측률은 60%로, 이는 우연보다 약간 높은 수준에 불과했다. 이 백서는 이 독특한 실험의 개발, 배포, 그리고 결과에 대해 자세히 기술한다. 이러한 결과는 이미 인간과 AI가 혼합될 불가피한 가까운 미래에 대한 이해를 키우는데 도움을 준다.
'AI > etc' 카테고리의 다른 글
| 트랜스포머의 길이 일반화에 대한 위치 인코딩의 영향 (0) | 2023.06.03 |
|---|---|
| 생각 복제: 인간의 생각을 모방하여 행동하면서 생각하는 법 배우기 (0) | 2023.06.03 |
| 데이터 제약이 있는 언어모델 확장 (0) | 2023.06.01 |
| 가치-조건부 상태 엔트로피 탐색을 통한 강화학습 가속화 (0) | 2023.06.01 |
| 긴 컨텍스트 대형 모델을 위한 블록별 병렬 트랜스포머 (0) | 2023.06.01 |