https://arxiv.org/abs/2305.13035
Getting ViT in Shape: Scaling Laws for Compute-Optimal Model Design
Scaling laws have been recently employed to derive compute-optimal model size (number of parameters) for a given compute duration. We advance and refine such methods to infer compute-optimal model shapes, such as width and depth, and successfully implement
arxiv.org
1. 컴퓨트 최적화 모델 형태 유추: 최근에는 주어진 컴퓨트 시간에 대해 컴퓨트 최적화 모델 크기(파라미터 수)를 유도하기 위해 스케일링 법칙이 사용되었습니다. 우리는 이러한 방법을 발전시켜 모델의 너비와 깊이와 같은 컴퓨트 최적화 모델 형태를 추론하고, 이를 비전 트랜스포머에 성공적으로 구현했습니다.
2. 모양 최적화 비전 트랜스포머: 모양 최적화된 비전 트랜스포머인 SoViT은 크기가 두 배 이상인 모델들과 경쟁력 있는 결과를 달성하며, 동일한 컴퓨트 양으로 사전 학습되었습니다. 예를 들어, SoViT-400m/14은 ILSRCV2012에서 90.3%의 세밀 튜닝 정확도를 달성하며, 훨씬 더 큰 ViT-g/14를 능가하고 ViT-G/14와 거의 동일한 성능을 보이며 추론 비용도 절반 이하입니다.
3. 다양한 작업에서 평가: 이미지 분류, 캡션 생성, VQA 및 제로샷 전이와 같은 다양한 작업에서 철저한 평가를 수행하여 모델의 효과적인 성능을 보여주고 도메인의 넓은 범위에서 제한 사항을 식별합니다. 전반적으로, 우리의 결과는 비전 모델의 맹목적인 스케일 업 접근 방식에 도전하며, 보다 정보화된 스케일링을 위한 길을 제시합니다.
'AI > Google&DeepMind' 카테고리의 다른 글
| 생각의 나무(ToT): 대규모 언어 모델을 사용한 고의적 문제 해결 (0) | 2023.05.29 |
|---|---|
| 시뮬레이션된 인간 사회에서 사회적으로 정렬된 언어 모델 교육 (0) | 2023.05.29 |
| 도구 제작자로서의 대규모 언어 모델 (0) | 2023.05.29 |
| 대규모 언어모델을 사용한 역할극 (0) | 2023.05.29 |
| Flan-MoE: 전문가가 거의 혼합되지 않은 확장명령 미세조정 언어모델 (0) | 2023.05.28 |