https://arxiv.org/abs/2305.17100
BiomedGPT: A Unified and Generalist Biomedical Generative Pre-trained Transformer for Vision, Language, and Multimodal Tasks
In this paper, we introduce a unified and generalist Biomedical Generative Pre-trained Transformer (BiomedGPT) model, which leverages self-supervision on large and diverse datasets to accept multi-modal inputs and perform a range of downstream tasks. Our e
arxiv.org
1. 이 논문에서는, 다양한 크기와 종류의 데이터셋에서 자기 감독을 활용하여 다중 모달 입력을 받아들이고 다양한 하류 작업을 수행하는 통합적이고 전문적인 생물의학 생성 사전 훈련 변환기(BiomedGPT) 모델을 소개합니다.
2. 우리의 실험은 BiomedGPT가 생물의학 데이터의 포괄적이고 포괄적인 표현을 제공함으로써, 15가지 이상의 고유한 생물의학 모달리티에 걸쳐 20개의 공공 데이터셋을 사용한 다섯 가지 다른 작업에서 대부분의 이전 최첨단 모델을 능가함을 보여줍니다.
3. 또한, 이 연구에서는 우리의 다중 모달 및 다중 작업 사전 훈련 접근법이 이전에 보지 못한 데이터로 지식을 전송하는 데 효과적임을 보여주는 절제 분석을 통해(Through the ablation study) 이를 입증합니다. 전반적으로, 우리의 작업은 생물의학에 대한 통합적이고 전문적인 모델 개발에 있어 중요한 한 걸음을 제시하며, 의료 결과 개선에 대한 넓은 시사점을 제공합니다.
'AI > etc' 카테고리의 다른 글
| 자연어 기반 정신 사회의 마인드스톰 (0) | 2023.05.29 |
|---|---|
| 대규모 언어모델로 반복 게임하기 (0) | 2023.05.29 |
| Panda-GPT: 하나의 모델에서 지침까지 모두 따르세요. (0) | 2023.05.29 |
| 행동하기 전에 생각하기: 내부 작업 기억을 가진 의사 결정 트랜스포머 (0) | 2023.05.29 |
| Adam보다 2배 빠른 새로운 옵티마이저 소피아 (0) | 2023.05.29 |