SUI

https://arxiv.org/abs/2305.14342 Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training Given the massive cost of language model pre-training, a non-trivial improvement of the optimization algorithm would lead to a material reduction on the time and cost of training. Adam and its variants have been state-of-the-art for years, and more sophist arxiv.org https://twitt..

https://www.quantamagazine.org/some-neural-networks-learn-language-like-humans-20230522/ Some Neural Networks Learn Language Like Humans | Quanta Magazine Researchers uncover striking parallels in the ways that humans and machine learning models acquire language skills. www.quantamagazine.org 뇌와 인공 신경망이 어떻게 학습하는지는 여전히 미스터리입니다. 그러나 최근의 연구는 인공 신경망과 인간이 언어를 배우는 방식이 유사할 수 있다는 놀라운 결과를 보여줍니다. 연구자들은 "b..

https://thequantuminsider.com/2023/05/23/ibm-aims-for-100000-qubit-machine-by-2033-pioneering-quantum-centric-supercomputing IBM Aims for 100,000-Qubit Machine by 2033, Pioneering 'Quantum-Centric Supercomputing' IBM is setting its sights on a 100,000-qubit quantum-centric supercomputer within a decade, according to a statement. thequantuminsider.com IBM이 2033년까지 100,000큐비트 규모의 양자 중심 슈퍼컴퓨터를 개발하는..

https://twitter.com/mihdalal/status/1662154852602871820?s= https://arxiv.org/abs/2305.16309 https://mihdalal.github.io/optimus/ 트위터에서 즐기는 Murtaza Dalal “Imitation learning is powerful, but hard to scale due to lack of high quality data. Introducing Optimus: TAMP-supervised visuomotor transformers. Optimus solves over 300 long-horizon manipulation tasks with up to 8 stages and 72 different object..

https://moores.samaltman.com/ Moore's Law for Everything We need to design a system that embraces this technological future and taxes the assets that will make up most of the value in that world–companies and land–in order to fairly distribute some of the coming wealth. moores.samaltman.com OpenAI CEO인 샘 알트만이 쓴 모든 것에 대한 무어의 법칙이라는 글입니다. - GPT-4 요약 Sam Altman이 작성한 "Moore’s Law for Everything"은 그의 ..

https://www.aitimes.com/news/articleView.html?idxno=150238 AGI 품은 'GPT-5' 연말 출시? - AI타임스 \'GPT-4\'가 나온 지 한 달도 지나지 않아 한 개발자가 트위터에 \'GPT-5\' 출시를 예측하는 글을 올려 눈길을 끌고 있다.이와 관련 디지털트랜드는 28일(현지시간) 스치 첸이라는 개발자가 트위터에 \ www.aitimes.com 기사에 의하면 올해 12월 gpt5 교육을 완료할 예정이며 그것이 AGI를 달성할 것으로 기대한다고 한다. 기사가 참이라면 올해 12월에 GPT-5 교육을 완료한다고 하니 올해 GPT-5가 출시되기는 어렵겠으나 나도 GPT-5를 AGI로 정의될 수 있을 것이라고 본다. GPT-5가 빠르게 발표되길 바라지만 어쩌..

https://www.the-sun.com/news/8179669/scientist-garry-nolan-fighter-pilots-ufos-aliens-earth/ Scientist warns that 'aliens are here, and have been for a long time' A SCIENTIST who studied the brains of fighter pilots who reportedly encountered UFOs has claimed that aliens have been on Earth for a while. There have been many tales of pilots finding extraterres… www.the-sun.com 해당 기사는 스탠퍼드 대학의 병리학 ..

https://arxiv.org/abs/2305.13035 Getting ViT in Shape: Scaling Laws for Compute-Optimal Model Design Scaling laws have been recently employed to derive compute-optimal model size (number of parameters) for a given compute duration. We advance and refine such methods to infer compute-optimal model shapes, such as width and depth, and successfully implement arxiv.org 1. 컴퓨트 최적화 모델 형태 유추: 최근에는 주어진 ..

https://arxiv.org/abs/2305.14705 Flan-MoE: Scaling Instruction-Finetuned Language Models with Sparse Mixture of Experts The explosive growth of language models and their applications have led to an increased demand for efficient and scalable methods. In this paper, we introduce Flan-MoE, a set of Instruction-Finetuned Sparse Mixture-of-Expert (MoE) models. We show that naiv arxiv.org 1. 이 논문에서는 ..

* AGI(Artificial General Intelligence)는 인공 일반 지능으로 인간만큼 뛰어난 지적인 능력을 가진 인공지능을 뜻한다. 2017년 아실로마 회의를 보면 일론 머스크는 AGI가 개발되면 재귀발전을 통해 순식간에 초지능에 도달할 수 있으리라 생각하고 있다. 2020년에는 5년 내 인간 지능을 초월하는 인공지능이 등장할 것이라 주장했다. 즉 2025년에 AGI를 가지게 될 것이란 소리 https://www.aitimes.com/news/articleView.html?idxno=131077 “5년 내 AI가 인간 추월한다”…일론 머스크의 경고 - AI타임스 일론 머스크 테슬라 최고경영자(CEO)가 \"현 추세로 봤을 때 향후 5년 이내 인공지능(AI)이 인간을 추월할 수 있다\"고 경..