https://bounded-regret.ghost.io/future-ml-systems-will-be-qualitatively-different/
Future ML Systems Will Be Qualitatively Different
In 1972, the Nobel prize-winning physicist Philip Anderson wrote the essay " More Is Different [https://science.sciencemag.org/content/177/4047/393]". In it, he argues that quantitative changes can lead to qualitatively different and unexpected phenomena.
bounded-regret.ghost.io
이 블로그 포스트는 머신러닝 시스템이 양적 변화를 통해 질적 변화를 가져올 수 있다는 주제를 다루고 있습니다. 예를 들어, 하드웨어의 발전으로 인해 더 많은 데이터를 저장하고, 더 큰 모델을 훈련시킬 수 있게 되면서 인공지능 연구의 방식이 변했습니다. 이러한 변화는 기계 번역, 심층 학습, 적은 샷 학습 등 다양한 분야에서 관찰되었습니다.
또한 "Grokking"이라는 현상은, 신경망이 오랫동안 훈련될수록 일반화 성능이 향상되는 것을 보여줍니다. 특정 로직/수학 데이터셋에 대해 1,000 단계로 훈련된 신경망은 훈련 정확도는 완벽하지만 테스트 정확도는 거의 0에 가깝습니다. 그러나 약 100,000 단계 후에 테스트 정확도가 갑자기 증가하며, 1백만 단계까지 가면 거의 완벽한 일반화를 달성합니다.
이러한 발견들은 머신러닝 시스템이 향후 어떻게 발전할 것인지를 예측하는 데 있어 엔지니어링 패러다임의 한계를 보여줍니다. 우리는 종종 과거의 경향성을 기반으로 미래를 예측하려 하지만, 이러한 변화는 과거의 경향성을 단순히 연장시키는 것 이상의 새로운 질적인 행동을 기대해야 함을 시사합니다. 따라서 미래의 머신러닝 시스템은 오늘 나타나지 않는 이상한 실패 모드를 가질 것이며, 이에 대해 미리 생각하고 대응해야 합니다.
'AI > etc' 카테고리의 다른 글
| Aidan Gomez 인터뷰 (0) | 2023.06.23 |
|---|---|
| 명령 예측을 통한 장기적 모방 개선 (0) | 2023.06.23 |
| ALP: 인식을 위한 행동 인식 구현 학습 (0) | 2023.06.21 |
| 역 스케일링: 클수록 좋지 않은 경우 (0) | 2023.06.19 |
| 눈에 반사된 것을 보고 3D 장면을 재구성 (0) | 2023.06.18 |