행동하기 전에 생각하기: 내부 작업 기억을 가진 의사 결정 트랜스포머

https://arxiv.org/abs/2305.16338

Think Before You Act: Decision Transformers with Internal Working Memory

1. 대형 언어 모델(LLM) 기반의 결정 생성 에이전트는 다양한 작업에 대해 일반화하는 능력을 보여주었지만, 이러한 성능은 대량의 데이터와 계산 능력에 의존합니다. 이러한 비효율성은 학습 과정에서 모델이 이전 작업의 성능을 잊어버리는 현상으로부터 비롯된다는 주장을 제기합니다.

2. 이와 달리, 사람의 뇌는 분산 메모리 저장을 사용하여 여러 기술을 효과적으로 관리하고 조직화하며, 이를 통해 잊어버리는 현상을 완화합니다. 이에 영감을 받아, 다양한 하류 작업에 대한 정보를 저장, 혼합, 검색하는 내부 작업 메모리 모듈을 제안합니다.

3. 평가 결과, 제안된 방법은 아타리 게임과 메타-월드 객체 조작 작업에서의 학습 효율성과 일반화를 개선하는 것을 보여주었습니다. 더욱이, 메모리 미세 조정이 제안된 구조의 적응성을 더욱 향상시킨다는 것을 보여줍니다.