Sam Altman 강연의 삭제된 녹취록: Open AI에도 GPU가 부족하며 비용 절감이 주요 목표입니다.-일체 포함-php.cn

被删除的Sam Altman 谈话纪要：Open AI 也缺 GPU，降低成本是首要目标

12억 달러 + 거의 모든 컴퓨팅 성능, Microsoft가 "Half Life"를 OpenAI에 넘긴 후.

글자 링즈쥔

편집자 웨이 시지에

샘알트만의 유럽투어는 아직 진행중입니다. 얼마 전 런던에서 인공지능 기업 휴먼루프(HumanLoop) CEO와 비공개 미팅을 가졌다. HumanLoop은 대규모 언어 모델에 애플리케이션을 구축하기 위한 서비스를 제공하는 회사이며, 그 목표는 개발자가 이러한 목표를 달성하도록 돕는 것입니다.

휴먼루프 CEO 라자 하비브는 대화의 핵심 내용을 녹음해 회사 공식 홈페이지에 공개했다. 그런데 OpenAI의 요청으로 회의록이 삭제되었습니다. 이로 인해 실제로 이 대화에 대한 외부 세계의 호기심이 높아졌습니다. 일부 사람들은 OpenAI와 관련된 일부 아이디어가 변경되었다고 추측합니다.

삭제된 대화록을 살펴본 후 Geek Park는 Sam의 OpenAI에 대한 단기 계획뿐만 아니라 OpenAI가 Microsoft의 클라우드 컴퓨팅 리소스로부터 강력한 지원을 받은 후 받는 압력을 숨기고 있음을 발견했습니다. 결국 모델 미세 조정과 추론에는 여전히 많은 컴퓨팅 리소스가 소모됩니다. The Information에 따르면 Open AI 모델에는 Microsoft Azure의 비용이 12억 달러에 달합니다. OpenAI 지원에 컴퓨팅 리소스를 집중하면 다른 Microsoft 부서에서 사용할 수 있는 서버가 제한됩니다.

이와 관련하여 Sam은비용 절감이 현재의 주요 목표라고 말했습니다.

또한 Sam은 다음과 같이 밝혔습니다. 현재 더 긴 컨텍스트 창 열기 및 미세 조정 API 제공과 같은 서비스는 GPU 리소스에 의해 제한됩니다. 이 대화에서 Sam Altman은 경쟁, 상업화 등 외부 세계의 여러 우려 사항에 대해 다음과 같이 답변했습니다.

세계적 수준의 제품 관리자인 Peter Deng을 막 고용했음에도 불구하고 OpenAI는 더 이상 제품 출시를 고려하지 않습니다.

지난 몇 년 동안 OpenAI는 모델을 수백만 번 확장했지만 이 속도는 지속 불가능합니다. 다음으로 OpenAI는 모델 성능을 향상시키기 위해 모델 크기를 1~3배 비율로 지속적으로 늘릴 예정입니다.
통화록은 5월 29일 공개됐고 네티즌 기록에 따르면 6월 3일경 삭제됐다.

OpenAI는 현재

에 의해 보호됩니다.

GPU의 심각한 제한

대화가 확장되면서

필요한 컴퓨팅 리소스가 기하급수적으로 증가하고 있습니다

현재 OpenAI의 GPU는 매우 제한되어 있어 많은 단기 계획이 지연되고 있습니다. 고객의 가장 큰 불만은 API의 안정성과 속도입니다. Sam은 그들의 우려를 인정하고 대부분의 문제는 GPU 부족으로 인해 발생한다고 설명했습니다.

더 긴 32k 컨텍스트는 아직 더 많은 사람들에게 출시될 수 없습니다. OpenAI는 O(n^2) 주의 스케일링을 극복하지 못했기 때문에 그럴듯해 보이지만 곧 100k - 1M 토큰 컨텍스트 창을 갖게 될 것입니다( 올해) 더 큰 일에는 연구 혁신이 필요합니다

더 긴 32K 컨텍스트는 아직 더 많은 사람들이 사용할 수 없습니다. OpenAI는 아직 어텐션 메커니즘의 O(n^2) 스케일링 문제를 극복하지 못했습니다. 하지만 곧(올해) 100k-1M 토큰의 컨텍스트 창을 갖게 될 것으로 보입니다. 더 큰 창에는 연구 혁신이 필요합니다.

참고: O(n^2)는 시퀀스 길이가 증가함에 따라 Attention 계산을 수행하는 데 필요한 컴퓨팅 리소스가 기하급수적으로 증가한다는 의미입니다. O는 알고리즘 시간 또는 공간 복잡도 증가율의 상한 또는 최악의 시나리오를 설명하는 데 사용됩니다(n^2). 이는 복잡도가 입력 크기의 제곱에 비례한다는 의미입니다.

미세 조정 API도 현재 GPU 가용성에 따라 제한됩니다. 아직 어댑터나 LoRa와 같은 효율적인 미세 조정 방법을 사용하지 않기 때문에 미세 조정을 통한 (모델) 실행 및 관리는 계산 집약적입니다. 향후에는 미세 조정에 대한 더 나은 지원이 제공될 예정입니다. 모델 기여를 위해 커뮤니티 기반 마켓플레이스를 호스팅할 수도 있습니다.

전용 용량 제공은 GPU 가용성에 따라 제한됩니다. OpenAI는 고객에게 모델의 비공개 복사본을 제공할 수 있는 전용 용량을 제공합니다. 서비스를 받으려면 고객이 선불로 $100,000를 약속해야 합니다.

OpenAI의 최근 로드맵

2023년, 스마트한 비용 절감

2024년, 다중 양식의 제한된 데모

Sam은 또한 OpenAI API에 대한 임시 단기 로드맵으로 생각하는 내용을 공유했습니다.

2023:

더 저렴하고 더 빠른 GPT-4 ――이것이 최우선 과제입니다. 전반적으로 OpenAI의 목표는 "지능 비용"을 최대한 줄이는 것이므로 시간이 지남에 따라 API 비용을 지속적으로 줄이기 위해 열심히 노력할 것입니다.
더 길어진 컨텍스트 창 ――가까운 미래에는 컨텍스트 창이 최대 100만 개의 토큰에 이를 수도 있습니다.
Nudge API ―Nudge API는 최신 모델로 확장될 예정이지만 정확한 형식은 개발자가 실제로 원하는 것이 무엇인지에 따라 달라집니다.
상태 저장 API - 오늘 채팅 API를 호출할 때 동일한 대화 기록을 계속해서 반복해서 동일한 토큰을 지불해야 합니다. 세션 기록을 기억하는 API의 향후 버전이 나올 예정입니다.

2024:

Multimodality - 이는 GPT-4 릴리스의 일부로 시연되고 있지만 더 많은 GPU가 온라인에 출시될 때까지 모든 사람에게 확장되지는 않습니다.

상용화 예측과 사고:

플러그인 "No PMF",

아마도 곧 API에 포함되지 않을 것입니다

많은 개발자가 API 액세스가 가능한 ChatGPT 플러그인에 관심이 있지만 Sam은 이러한 플러그인이 조만간 출시될 것이라고 생각하지 않는다고 말했습니다. Brosing 플러그인 외에 다른 플러그인을 사용한다는 것은 아직 PMF(Product/Market Fit)가 없음을 의미합니다. 그는 많은 사람들이 자신의 앱이 ChatGPT 내에 있기를 원한다고 생각하지만 실제로 원하는 것은 ChatGPT가 앱 내에 존재하는 것이라고 지적합니다.

ChatGPT 제외,

OpenAI는 고객과의 경쟁을 피할 것입니다

위대한 회사에는 모든 것이 있습니다

킬러 앱

많은 개발자들은 OpenAI가 결국 자신과 경쟁할 수 있는 제품을 출시할 수 있기 때문에 OpenAI API를 사용하여 개발하는 것이 불안하다고 말합니다. Sam은 OpenAI가 ChatGPT 이외의 제품을 더 이상 출시하지 않을 것이라고 말했습니다. 역사적으로 훌륭한 플랫폼 회사에는 킬러 앱이 있다고 그는 말했습니다. ChatGPT를 통해 개발자는 자신의 제품 고객이 되어 API를 개선할 수 있습니다. ChatGPT의 비전은 초지능 작업 보조자가 되는 것이지만 OpenAI가 다루지 않는 다른 GPT 사용 사례도 많이 있습니다.

감독이 필요합니다.

하지만 지금은 아닙니다

「나는 얼마나 많은 사람과 회사를 사랑하는가

대형 모델 수용 능력 의심”

샘은 미래 모델에 대한 규제를 요구하지만 기존 모델이 위험하다고 생각하지 않으며 이를 규제하거나 금지하는 것은 큰 실수가 될 것이라고 생각합니다. 그는 다시 한번 오픈소스의 중요성을 강조하며 OpenAI가 GPT-3 오픈소스화를 고려하고 있다고 말했다. 아직 오픈 소스가 아닙니다. 부분적으로는 얼마나 많은 개인과 회사가 대규모 언어 모델(LLM)을 보유하고 서비스할 수 있는지에 대해 회의적이기 때문입니다.

규모의 법칙은 여전히 적용됩니다

몇 년 만에 수백만 배의 확장 속도,

영원히 지속될 수는 없습니다

최근 "거대 AI 모델의 시대는 끝났다"는 기사가 많이 나오네요. 이는 정확하지 않습니다. (참고: 지난 4월 MIT에서 열린 행사에서 Sam Altman은 다음과 같이 말했습니다. 우리는 이제 거대 모델 시대의 종말에 가까워졌습니다.)

OpenAI의 내부 데이터에 따르면 모델 성능에 대한 규모의 법칙은 여전히 적용되며 모델 크기를 늘리면 성능이 계속해서 향상됩니다.

OpenAI가 단 몇 년 만에 모델을 수백만 배로 확장했기 때문에 이러한 확장 속도는 지속될 수 없습니다. 이것은 OpenAI가 계속해서 모델을 더 크게 만들려고 노력하지 않는다는 의미는 아니지만, 수십 배로 증가하는 대신 매년 크기가 두 배 또는 세 배가 될 것이라는 의미입니다.

규모의 법칙은 AGI 개발 일정에 중요한 영향을 미칩니다. 규모의 법칙은 AGI를 구축하는 데 필요한 대부분의 요소가 이미 있다고 가정하고 나머지 작업은 주로 기존 방법을 더 큰 모델과 더 큰 데이터 세트로 확장하는 것입니다. 규모의 시대가 지나간다면 우리는 AGI에서 훨씬 더 멀어질 수도 있습니다. 규모의 법칙이 계속해서 적용된다는 사실은 일정이 더 짧아질 것임을 강하게 암시합니다.

괴짜의 질문

OpenAI에 대해 어떻게 생각하시나요

최근 기술 로드맵은 무엇인가요?