https://github.com/ysymyth/tree-of-thought-llm
https://huggingface.co/papers/2305.10601
Paper page - Tree of Thoughts: Deliberate Problem Solving with Large Language Models
huggingface.co
설명 https://twitter.com/ShunyuYao12/status/1659357547474681857?s=20
트위터에서 즐기는 Shunyu Yao
“Still use ⛓️Chain-of-Thought (CoT) for all your prompting? May be underutilizing LLM capabilities🤠 Introducing 🌲Tree-of-Thought (ToT), a framework to unleash complex & general problem solving with LLMs, through a deliberate ‘System 2’ tree
twitter.com
1. 언어 모델은 다양한 과제에 대한 일반적인 문제 해결을 위해 점점 더 많이 사용되고 있지만, 추론 중에는 토큰 수준의 왼쪽에서 오른쪽으로 진행되는 결정 과정에 제한되어 있습니다. 이는 탐색, 전략적 전망, 초기 결정의 역할이 중요한 과제에서는 한계가 있을 수 있음을 의미합니다.
2. 이러한 도전을 극복하기 위해 우리는 언어 모델 추론을 위한 새로운 프레임워크인 "Tree of Thoughts (ToT)"를 소개합니다. ToT는 인기있는 "Chain of Thought" 접근 방식을 확장하고, 문제 해결을 위한 중간 단계로 작용하는 일관된 텍스트 단위인 "생각(thoughts)"을 통해 탐색을 가능하게 합니다.
3. ToT를 사용하면 언어 모델은 여러 다른 추론 경로를 고려하고 다음 행동을 결정하기 위해 자가 평가를 통해 선택을 내리며, 필요한 경우 미래를 내다보거나 되돌아갈 수 있어 전역적인 선택을 할 수 있게 됩니다. 실험 결과, ToT는 비교적 복잡한 계획 또는 탐색이 필요한 세 가지 신규 과제(Game of 24, 창작 글쓰기, 미니 크로스워드)에서 언어 모델의 문제 해결 능력을 크게 향상시킵니다. 예를 들어, Game of 24에서 GPT-4는 Chain of Thought 접근법으로만 4%의 과제를 해결할 수 있었지만, 우리의 방법은 74%의 성공률을 달성했습니다. 모든 프롬프트를 포함한 코드 저장: https://github.com/ysymyth/tree-of-thought-llm.
'AI > Google&DeepMind' 카테고리의 다른 글
| 대규모 언어모델을 사용한 전문가 수준의 의료 질문 답변을 향하여 (0) | 2023.05.29 |
|---|---|
| 무작위 위치 인코딩으로 트랜스포머의 길이 일반화 향상 (0) | 2023.05.29 |
| 시뮬레이션된 인간 사회에서 사회적으로 정렬된 언어 모델 교육 (0) | 2023.05.29 |
| 도구 제작자로서의 대규모 언어 모델 (0) | 2023.05.29 |
| 대규모 언어모델을 사용한 역할극 (0) | 2023.05.29 |