사전 훈련된 언어 모델을 위한 플러그 앤 플레이 지식 주입

abs: https://arxiv.org/abs/2305.17691

Plug-and-Play Knowledge Injection for Pre-trained Language Models

1. 외부 지식을 주입하면 다양한 하위 스트림 NLP 작업에서 사전 훈련된 언어 모델(PLMs)의 성능이 향상됩니다. 그러나, 새로운 지식 주입 방법이나 지식 베이스를 하위 작업에 적용하려면 대량의 재훈련이 필요합니다.

2. 이 연구에서는 기존의 하위 작업 모델을 재사용하여 지식 주입의 유연성과 효율성을 향상시키는 방법에 대해 최초로 연구합니다. 이를 위해, 지식 베이스가 지식 플러그인에 의해 기존 하위 작업 모델에 주입되는 새로운 패러다임인 플러그앤플레이 지식 주입을 탐색합니다.

3. 이에 따라, 우리는 지도 튜닝이라는 플러그앤플레이 주입 방법을 제안합니다. 이 방법은 지식 임베딩의 매핑을 훈련시켜 매핑된 임베딩으로 모델 입력을 풍부하게 하면서 모델 파라미터는 고정된 상태를 유지합니다. 지식 주도적 NLP 작업 세 가지에 대한 실험 결과는 기존의 주입 방법이 새로운 패러다임에 적합하지 않은 반면, 지도 튜닝은 하위 작업 모델의 성능을 효과적으로 향상시킨다는 것을 보여줍니다. 또한, 우리는 고정된 하위 작업 모델이 다른 도메인의 지식의 다른 매핑 네트워크로 잘 적응할 수 있다는 것을 보여줍니다.