Sam Altman에 따른 OpenAI의 계획

Sam Altman에 따른 OpenAI의 계획

지난 주 저는 Sam Altman 및 20명의 다른 개발자와 함께 OpenAI의 API 및 제품 계획에 대해 논의할 수 있는 특권을 가졌습니다. Sam은 놀라울 정도로 개방적이었습니다. OpenAI의 사명과 AI의 사회적 영향과 관련된 더 큰 그림 질문뿐만 아니라 실용적인 개발자 문제에 대한 토론이 이루어졌습니다. 주요 내용은 다음과 같습니다.

1. OpenAI는 현재 GPU에 크게 제한되어 있습니다.

토론 내내 공통된 주제는 현재 OpenAI가 극도로 GPU 제한적이며 이로 인해 많은 단기 계획이 지연되고 있다는 것입니다. 가장 큰 고객 불만은 API의 안정성과 속도에 대한 것이었습니다. Sam은 그들의 우려를 인정하고 대부분의 문제가 GPU 부족의 결과라고 설명했습니다.

더 긴 32k 컨텍스트는 아직 더 많은 사람들에게 배포할 수 없습니다 . OpenAI는 관심의 O(n^2) 스케일링을 극복하지 못했기 때문에 그럴듯해 보이지만 곧(올해) 100k - 1M 토큰 컨텍스트 창을 갖게 될 것입니다. 더 큰 것은 연구 혁신이 필요합니다.

미세 조정 API는 현재 GPU 가용성으로 인해 병목 현상이 발생합니다. 그들은 아직 어댑터 또는 LoRa 와 같은 효율적인 미세 조정 방법을 사용하지 않으므로 미세 조정은 실행하고 관리하는 데 매우 컴퓨팅 집약적입니다. 미세 조정에 대한 더 나은 지원은 향후 제공될 예정입니다. 그들은 커뮤니티 기여 모델의 시장을 주최할 수도 있습니다.

전용 용량 제공은 GPU 가용성에 따라 제한됩니다. OpenAI는 또한 고객에게 모델의 개인 사본을 제공하는 전용 용량을 제공합니다. 이 서비스에 액세스하려면 고객은 선불로 $100,000를 지출할 의사가 있어야 합니다.

2. OpenAI의 단기 로드맵

Sam은 API에 대한 OpenAI의 임시 단기 로드맵으로 본 내용을 공유했습니다.

2023년:

• 더 저렴하고 더 빠른 GPT-4 — 이것이 최우선 순위입니다. 일반적으로 OpenAI의 목표는 "인텔리전스 비용"을 최대한 낮추는 것이므로 시간이 지남에 따라 API 비용을 계속 줄이기 위해 열심히 노력할 것입니다.
• 더 길어진 컨텍스트 창 — 가까운 장래에 100만 토큰만큼 높은 컨텍스트 창이 가능합니다.
• 미세 조정 API — 미세 조정 API는 최신 모델로 확장되지만 이에 대한 정확한 형식은 개발자가 실제로 원하는 바에 따라 형성됩니다.
• 상태 저장 API — 오늘날 채팅 API를 호출하면 동일한 대화 기록을 반복적으로 통과하고 동일한 토큰에 대해 반복해서 지불해야 합니다. 미래에는 대화 기록을 기억하는 API 버전이 있을 것입니다.

2024년:

• Multimodality — 이것은 GPT-4 릴리스의 일부로 시연되었지만 더 많은 GPU가 온라인 상태가 될 때까지 모든 사람에게 확장될 수 없습니다.

3. 플러그인은 "PMF가 없고" 곧 API에 제공되지 않을 것입니다.

많은 개발자가 API를 통해 ChatGPT 플러그인에 액세스하는 데 관심이 있지만 Sam은 해당 플러그인이 곧 출시될 것이라고 생각하지 않는다고 말했습니다. 브라우징 이외의 플러그인 사용은 아직 PMF가 없음을 나타냅니다. 그는 많은 사람들이 자신의 앱이 ChatGPT 안에 있기를 원한다고 생각하지만 실제로 원하는 것은 앱에 있는 ChatGPT라고 제안했습니다.

4. OpenAI는 ChatGPT를 제외하고 고객과의 경쟁을 피할 것입니다.

상당수의 개발자는 OpenAI가 경쟁력 있는 제품을 출시하게 될 때 OpenAI API로 빌드하는 것에 대해 불안하다고 말했습니다. Sam은 OpenAI가 ChatGPT 이외의 제품을 더 이상 출시하지 않을 것이라고 말했습니다. 그는 킬러 앱을 보유한 훌륭한 플랫폼 회사의 역사가 있으며 ChatGPT를 통해 자체 제품의 고객이 됨으로써 API를 개선할 수 있다고 말했습니다. ChatGPT의 비전은 업무를 위한 매우 스마트한 비서가 되는 것이지만 OpenAI가 건드리지 않는 다른 많은 GPT 사용 사례가 있을 것입니다.

5. 규제가 필요하지만 오픈소스도 필요하다

Sam은 미래 모델에 대한 규제를 요구하면서 기존 모델이 위험하다고 생각하지 않았고 규제하거나 금지하는 것이 큰 실수라고 생각했습니다. 그는 오픈 소스의 중요성에 대한 자신의 믿음을 되풀이했으며 OpenAI가 오픈 소스 GPT-3를 고려하고 있다고 말했습니다. 그들이 아직 오픈 소스를 제공하지 않은 이유 중 하나는 그가 얼마나 많은 개인과 회사가 대규모 LLM을 호스팅하고 제공할 수 있을지 회의적이었기 때문입니다.

6. 스케일링 법칙은 여전히 ​​유효합니다.

최근 많은 기사에서 " 거대한 AI 모델의 시대는 이미 끝났다 " 고 주장합니다 . 이것은 의미하는 바를 정확하게 표현하지 못했습니다.

OpenAI의 내부 데이터는 모델 성능에 대한 확장 법칙이 계속 유지되고 모델을 더 크게 만들면 계속해서 성능을 낼 것이라고 제안합니다. 확장 속도는 유지될 수 없습니다. OpenAI가 불과 몇 년 만에 모델을 수백만 배 더 크게 만들었고 앞으로 그렇게 하는 것이 지속 가능하지 않을 것이기 때문입니다. 이는 OpenAI가 계속해서 모델을 더 크게 만들려고 시도하지 않는다는 의미가 아니라, 크기가 몇 배로 증가하기보다는 매년 크기가 두 배 또는 세 배가 될 가능성이 높다는 것을 의미합니다.

확장이 계속 작동한다는 사실은 AGI 개발 일정에 중요한 영향을 미칩니다. 확장 가설은 우리가 AGI를 구축하는 데 필요한 대부분의 조각을 제자리에 두고 있을 수 있으며 나머지 작업의 대부분은 기존 방법을 사용하여 더 큰 모델과 더 큰 데이터 세트로 확장한다는 생각입니다. 스케일링의 시대가 끝났다면 AGI는 훨씬 더 멀어졌을 것입니다. 스케일링 법칙이 계속해서 유지된다는 사실은 더 짧은 일정을 강력하게 암시합니다.

When will the first general AI system be devised, tested, and publicly announced?

 

https://humanloop.com/blog/openai-plans