OpenAI 창립자 Sam Altman과의 최신 인터뷰: GPT-3 또는 오픈 소스, 확장 규칙으로 AGI 구축 가속화

빅데이터 다이제스트 제작

"우리는 GPU가 매우 부족합니다"

최근 인터뷰에서 OpenAI의 대표인 Sam Altman은 "불만족은 API의 신뢰성과 속도에 관한 것입니다. "

이 인터뷰는 인공지능 스타트업 Humanloop의 CEO인 Raza Habib이 인터뷰 하이라이트를 트위터에 정리한 것입니다.

트위터 주소:

https://twitter.com/dr_cintas/status/1664281914948337664

이번 인터뷰에서 알트만은 2023년 계획 등 지난 2년간의 GPT 계획도 발표했다. GPT-4의 비용을 줄이고 응답 속도를 향상시키는 것입니다.

1. 1백만 개의 토큰을 지원할 수 있는 더 긴 컨텍스트 창

2. 개발자가 더 나은 개발을 할 수 있도록 지원합니다.

3. 세션 상태를 지원하는 API, 즉 세션 상태를 지원하는 API입니다.

2024년 계획에서는 GPT-4가 다중 모드를 지원해야 한다고 언급했습니다. 2024년으로 연기된 이유는 GPU가 너무 적기 때문입니다.

인터뷰에서 Altman은 GPT-3을 오픈소스화할지 여부를 고려하고 있다고 언급하기도 했습니다. 오픈소스가 매우 중요하다는 점에는 의심의 여지가 없습니다. 동시에 그는 현재의 AI 모델이 그다지 위험하지 않다고 표현했습니다. 미래 모델을 규제하는 것은 매우 중요하지만 개발을 금지하는 것은 매우 큰 오해입니다.

Raza Habib은 원래 이 인터뷰에 대한 더 자세한 정보를 Humanloop에 게시했지만, 오늘 아침 Digest를 확인했을 때 해당 페이지는 이미 404 상태였습니다. 국내 Weibo의 @宝玉xp 번역에 따르면 그는 대형 모델의 향후 개발에 관한 스케일링 법칙도 언급했습니다.

OpenAI의 내부 데이터에 따르면 모델 성능의 스케일링 법칙이 계속해서 효과적이어서 모델이 더 커지는 것으로 나타났습니다. 계속해서 성과를 낼 것이다. OpenAI는 모델을 수백만 번 확장했기 때문에 앞으로도 지속 불가능할 속도로 계속 확장할 수 없습니다. 이는 OpenAI가 계속해서 모델을 더 크게 만들려고 시도하지 않는다는 의미는 아니며 단지 수십 배로 증가하는 대신 매년 두 배 또는 세 배만 증가할 것이라는 의미일 뿐입니다.

스케일링이 계속해서 효과적이라는 사실은 AGI 개발 일정에 중요한 영향을 미칩니다. 확장 가정은 AGI를 구축하는 데 필요한 대부분의 부품을 이미 보유하고 있으며 나머지 작업의 대부분은 기존 방법을 더 큰 모델과 더 큰 데이터 세트로 확장하는 것입니다. 스케일링 시대가 끝난다면 아마도 AGI는 훨씬 더 멀어질 것으로 예상해야 할 것입니다. 확장의 법칙이 계속해서 유효하다는 것은 일정이 더 짧아진다는 것을 강력하게 암시합니다.

분명히 스케일링의 법칙은 AGI로 가는 가장 빠른 길입니다.

스케일링 규칙이 무엇인가요?

Scaling Laws, 영어 이름은 Scaling Laws는 현상에 대한 설명으로, 기본적으로 언어 모델의 효과와 매개변수, 데이터, 계산의 양이 기본적으로 평탄한 거듭제곱의 법칙이라는 뜻입니다. .

즉, 모델의 매개변수(Parameters) 개수, 학습에 포함되는 데이터의 양(Tokens), 학습 과정에서 누적되는 계산량(FLOPS)이 기하급수적으로 증가할수록 모델의 손실은 커집니다. 테스트 세트에서는 선형적으로 감소합니다. 이는 모델의 효과가 더 좋다는 것을 의미합니다.

캡션: 다른 두 요인에 의해 제한되지 않는 경우 실증적 성능은 각 개별 요인과 거듭제곱 법칙 관계를 나타냅니다.

2022년 DeepMind는 ScalingLaw에서 추가 분석을 수행했습니다. 본 연구에서는 모델 매개변수의 크기에 비례하여 언어 모델 훈련 데이터의 크기가 커져야 함을 정량적 실험을 통해 검증하였다. 총 계산량이 변경되지 않은 경우 모델 학습의 효과는 매개변수 크기와 학습 데이터 양 사이의 최적의 균형점을 갖습니다. 곡선 아래의 가장 낮은 지점은 매개변수 크기와 학습 데이터 양 사이의 매우 좋은 절충점입니다. 가리키다.

OpeaAI의 성공과 GPT-4

OpenAI는 원래 2016년 Sam Altman과 Elon Musk로부터 10억 달러의 자금을 지원받은 비영리 인공지능 연구실이었습니다.

2019년 OpenAI는 투자자 자금을 흡수하기 위해 영리 목적의 인공지능 연구소로 변신했습니다.

연구실의 연구 지원 자금이 ​​고갈되자 Microsoft는 연구실에 10억 달러를 추가로 투자하겠다고 발표했습니다.

OpenAI가 출시한 GPT 시리즈의 모든 버전은 업계에서 카니발을 일으킬 수 있습니다. Microsoft Build 2023 개발자 컨퍼런스에서 OpenAI 창립자인 Andrej Karpthy는 GPT 상태(GPT의 현재 상황)라는 연설을 했습니다. 이 모델은 "인간의 두뇌"로 훈련되었다고 간주됩니다.

Andrej는 현재의 LLM 대규모 언어 모델을 인간의 사고 모드인 시스템 1(빠른 시스템)에 비유할 수 있다고 언급했는데, 이는 반응은 느리지만 장기적인 추론 능력을 갖춘 시스템 2(느린 시스템)에 비유됩니다.

"시스템 1은 LLM에 해당하는 빠르고 자동 프로세스로, 단지 마커 샘플링입니다.

시스템 2는 두뇌에서 더 느리고 신중하게 계획하는 부분입니다.

그리고 기본적으로 신속한 엔지니어링 LLM이 우리 두뇌의 능력 중 일부를 회복할 수 있기를 바랍니다.”

Andrej Karpthy는 또한 GPT-4가 놀라운 유물이며 그 존재에 대해 매우 감사하다고 언급했습니다. 여러 분야에 대한 방대한 지식을 갖추고 있으며 수학, 코드 등을 모두 손쉽게 수행할 수 있습니다.

그리고 알트만 CEO는 초기에 GPT-4가 매우 느리고, 버그가 있었고, 많은 일을 제대로 하지 못했다고 말했습니다. 그러나 개발하는 데 수십 년이 걸리더라도 여전히 우리 삶에서 매우 중요해질 무언가에 대한 길을 제시한 최초의 컴퓨터도 마찬가지였습니다.

OpenAI는 꿈을 고집하는 조직이자 극한까지 해보고 싶은 기업인 것 같습니다.

Microsoft Research Asia의 전 부사장이자 Lanzhou Technology의 창립자인 Zhou Ming은 인터뷰에서 다음과 같이 언급했습니다.

OpenAI의 가장 큰 성과는 모든 측면에서 완벽함을 달성한 것이며 통합 혁신의 모델입니다.

세상에는 여러 유형의 사람들이 있습니다. 어떤 사람들은 단지 근본적인 혁신을 연구하고 싶어합니다. 일부는 기본 혁신을 기반으로 하는 애플리케이션인 반면, 일반 애플리케이션은 단일 작업을 해결하기 위한 것입니다. 이는 다음과 같이 다시 작성할 수 있습니다. 또 다른 접근 방식은 통합 혁신을 달성하고 모든 작업, 애플리케이션 및 알고리즘을 대규모 플랫폼에 집중하여 이정표를 만드는 것입니다. OpenAI는 혁신을 통합하는 데 정말 훌륭한 역할을 합니다. T 참조: tHttps: //mp.weixin.qq.com/s/p42pbvyjzws8xsstdor2jw https://mp.weixin.qq.com/s/zmegzm1cdxupnoqzyg https://weibo.com /1727858283/4907695679472174?wm=3333_2001&from=10D 5293010&소스 유형 =weixin&s_trans=6289897940_4907695679472174&s_channel=4 https://humanloop.com/blog/openai-plans?cnotallow=bd9e7 6a5f41a6d847de52fa275480e22

위 내용은 OpenAI 창립자 Sam Altman과의 최신 인터뷰: GPT-3 또는 오픈 소스, 확장 규칙으로 AGI 구축 가속화의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!