대규모 언어 모델은 게으른 학습자가 될 수 있습니다: 상황 내 학습의 지름길 분석

abs: https://arxiv.org/abs/2305.17256

Large Language Models Can be Lazy Learners: Analyze Shortcuts in In-Context Learning

 

1. 대규모 언어 모델(LLMs)은 최근에 몇 가지 입력-레이블 쌍(프롬프트)에 조건을 부여함으로써 새로운 작업을 배우는 컨텍스트 내 학습에서 큰 잠재력을 보여주었습니다. 그럼에도 불구하고, 엔드-태스크 성능에 영향을 미치는 요인과 컨텍스트 내 학습의 견고성에 대한 이해는 아직 제한적입니다.

2. 이 논문은 프롬프트 내의 단축키 또는 잘못된 상관관계에 대한 LLMs의 의존성을 조사함으로써 이러한 지식 간극을 해소하려고 합니다. 분류와 추출 작업에 대한 종합적인 실험을 통해, LLMs가 하류 작업을 위한 프롬프트 내의 단축키를 이용하는 경향이 있는 '게으른 학습자'임을 밝혔습니다.

3. 또한 우리는 더 큰 모델이 추론 중에 프롬프트의 단축키를 이용하는 경향이 더 높다는 놀라운 결과를 발견했습니다. 우리의 발견은 컨텍스트 내 학습의 견고성을 평가하는 새로운 관점을 제공하고, 프롬프트에서 단축키의 사용을 감지하고 완화하는 새로운 도전을 제시합니다.