https://arxiv.org/abs/2305.14342
Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training
Given the massive cost of language model pre-training, a non-trivial improvement of the optimization algorithm would lead to a material reduction on the time and cost of training. Adam and its variants have been state-of-the-art for years, and more sophist
arxiv.org
https://twitter.com/tengyuma/status/1661412995430219786?s=20
트위터에서 즐기는 Tengyu Ma
“Adam, a 9-yr old optimizer, is the go-to for training LLMs (eg, GPT-3, OPT, LLAMA). Introducing Sophia, a new optimizer that is 2x faster than Adam on LLMs. Just a few more lines of code could cut your costs from $2M to $1M (if scaling laws hold). https
twitter.com
9년 된 Adam 옵티마이저보다 2배 빠른 새로운 옵티마이저 Sophia가 발표되었다.
'AI > etc' 카테고리의 다른 글
| Panda-GPT: 하나의 모델에서 지침까지 모두 따르세요. (0) | 2023.05.29 |
|---|---|
| 행동하기 전에 생각하기: 내부 작업 기억을 가진 의사 결정 트랜스포머 (0) | 2023.05.29 |
| 일부 신경망은 인간처럼 언어를 배웁니다 (0) | 2023.05.29 |
| IBM, 2033년까지 100,000큐빗 머신 목표 (0) | 2023.05.29 |
| 제프리 힌튼(Geoffrey Hinton)의 지능에 이르는 두 가지 길 (0) | 2023.05.28 |