OpenAI가 GPT-4를 출시합니다. 주목할 만한 기술 동향은 무엇인가요?

이 기사는 Sina Weibo의 신기술 연구 개발 책임자이자 중국 정보 사회 이사인 Zhang Junlin이 "OpenAI가 GPT-4를 출시하는데, 기술적 최적화 또는 혁신은 무엇입니까?"라는 Zhihu 질문에 대해 요약한 것입니다. 세 가지 방향의 GPT4 기술 보고서에서 지적된 것 외에 다른 두 가지 기술 방향도 언급되었습니다.

이 역사적인 순간에 질문에 답하고 역사의 증인으로서 자신의 발자국을 남겨보세요.

GPT4의 기술 보고서는 세 가지 새로운 방향을 명확하게 지적했습니다.

첫째, LLM에서 가장 최첨단 연구의 종결 또는 작은 원입니다. 기술 보고서에는 경쟁 및 안전 고려 사항으로 인해 모델 크기와 같은 기술 세부 사항은 발표되지 않았다고 명시되어 있습니다. GPT 2.0의 오픈소스부터 GPT 3.0까지는 논문만 있었고, ChatGPT까지는 논문이 없었고, GPT 4.0까지는 기술보고서가 성능평가 보고서에 가까웠다. 분명한 추세는 OpenAI가 CloseAI로 이름을 확고히 하고 OpenAI가 더 이상 최첨단 LLM 연구에 대한 논문을 발표하지 않는다는 것입니다.

이러한 상황에서 상대적으로 앞선 기술을 보유한 다른 기업의 선택지는 두 가지입니다. 하나는 좀 더 극단적인 오픈소스 LLM을 하는 것입니다. 예를 들어 Meta는 경쟁에서 불리한 상황에 처한 기업에서는 일반적으로 합리적인 선택이지만 관련 기술이 가장 최첨단 기술이 아닌 경우가 많습니다. 다른 옵션은 OpenAI에 대한 후속 조치이며 기술을 종료하기로 결정했습니다. Google은 이전에 LLM의 두 번째 계층으로 간주되었습니다. 하지만 "Microsoft + OpenAI"라는 결합된 펀치 아래 상황은 이제 다소 당황스럽습니다. GPT 4.0은 지난해 8월 완성됐다. GPT 5.0은 현재 다듬어지는 과정에 있는 것으로 추정된다. 이렇게 오랜 시간이 걸려 구글은 트랜스포머(Transformer)와 같은 매우 중요한 연구에 직면하게 될 것이다. CoT, 다 자기들끼리 하는 일인데 고위 관계자들이 나와서 이렇게 되면 어떻게 생각하실지 모르겠습니다. 구글이 나중에 빠르게 후속 조치를 취할 수 있다면 2위권에 머물더라도 큰 문제는 없을 것으로 보인다. 기술적으로는 3위를 훨씬 앞서갈 가능성이 크다. 경쟁적 고려로 인해 Google은 OpenAI의 기술적 폐쇄 경로를 따를 가능성이 가장 높습니다. 가장 진보된 LLM 기술은 대중, 특히 OpenAI에 이익을 주기 위해 논문을 작성하여 공개하는 대신 자체 엘릭서를 개선하는 데 먼저 사용될 것입니다. 이로 인해 LLM의 최첨단 연구가 종료될 가능성이 높습니다.

이제부터 중국은 일정 기간이 지나면 필연적으로 독자적 혁신의 상황에 진입하게 될 것입니다(ChatGPT에서 60~30% 할인을 달성하는 것이 더 빨라야 하며, 동일해지는 데 더 오랜 시간이 걸립니다). 지난 3개월간 다양한 국내 상황으로 판단해 볼 때, 미래는 어떤 모습일까요? 낙관적이지 않을 가능성이 높습니다. 물론 이 단계는 어려울 것입니다. 그러나 반드시 통과해야 합니다. 최선을 다할 수 있는 능력과 의지가 있는 사람만이 통과할 수 있기를 바랍니다.

둘째, GPT 4 기술 보고서에 언급된 LLM 모델의 "능력 예측"은 매우 가치 있는 새로운 연구 방향입니다. ? 장을 기억할 수 없습니다.) 특정 매개변수 조합 하에서 대형 모델의 특정 능력을 예측하려면 소형 모델을 사용하십시오. 예측이 충분히 정확하면 이론이나 오류에 관계없이 엘릭서 정제 주기를 크게 단축할 수 있으며 시행착오 비용을 크게 줄일 수 있습니다. 실용적인 가치는 확실히 구체적인 기술적 방법을 주의 깊게 연구할 가치가 있습니다.

셋째, GPT 4는 LLM 평가 프레임워크를 오픈소스화했는데, 이는 향후 LLM 기술의 급속한 발전을 위해 매우 중요한 방향이기도 합니다. 특히 중국인의 경우 실용적인 중국어 LLM 평가 데이터와 프레임워크를 구축하는 것이 특히 중요합니다. 좋은 LLM 평가 데이터는 LLM의 현재 단점과 개선 방향을 빠르게 발견할 수 있다는 점에서 큰 의미가 있음은 분명합니다. 현재는 기본적으로 비어 있습니다. 이 리소스 요구 사항은 실제로 그다지 높지 않고 많은 조직에 적합하지만 실제로는 힘든 작업입니다.

GPT 4 기술 보고서에서 명확하게 지적한 세 가지 방향 외에도 최근 LLM의 다양한 측면에서 많은 소식이 있기 때문에 두 가지 기술적 방향을 더 적어보겠습니다.

우선, 스탠포드 대학교는 최근 Meta의 7B 오픈 소스 LLaMA를 기반으로 ​​Alpaca​​를 구축했으며, 기술적으로도 ​​Self Instruct​​​을 구축했습니다. 방향. 정리하자면 이 방향은 'ChatGPT의 저가 재생산' 방향이라고 할 수 있다. 소위 Self Instruct는 Instruct의 수동 주석 없이 특정 기술 수단을 채택하는 것입니다. 대신 Instruct는 "증류"라고 더 잘 알려진 OpenAI 인터페이스에서 추출됩니다. , ChatGPT는 교사 역할을 하며 지시 결과에 주석을 추가합니다. 이로 인해 교육 마킹 비용이 수백 달러의 벤치마크에 직접적으로 도달하게 되고 시간 비용은 더욱 단축됩니다. 또한, 모델 7B의 규모는 크지 않기 때문에 "ChatGPT를 저비용으로 재현"하기 위한 기술적 루트라고 볼 수 있다.

중국의 많은 사람들이 이미 이 기술 경로를 채택한 것으로 추정됩니다. 이것이 지름길이라는 것은 의심의 여지가 없지만 지름길을 택하는 것에는 장점과 단점이 있기 때문에 자세히 설명하지 않겠습니다. ChatGPT를 따라잡는 과정에서 저는 개인적으로 먼저 비용을 줄이고 ChatGPT를 70~80%까지 재생산하는 것이 가능하고 도움이 된다고 생각합니다. 결국 가난한 사람들은 각자의 플레이 방식이 있습니다. 물론, 효과를 희생하지 않고 모델을 더 작게 만드는 것을 추구하는 것이 현실적인 방식으로 이루어질 수 있다면 매우 가치가 있습니다.

또한, 체화된 지능은 의심할 여지 없이 다음 단계에서 LLM의 핵심 연구 방향이 될 것입니다. 이에 대한 대표적인 것이 얼마 전 구글이 출시한 ​​PaLM-E​​이다. 현재 GPT 4를 사용하면 인간이 슈퍼 두뇌를 만들었지만 여전히 GPU 클러스터에 고정되어 있다고 생각할 수 있습니다. 그리고 이 슈퍼 브레인에는 신체가 필요합니다. GPT 4는 물리적 세계와 연결하고 소통하고 상호 작용해야 하며, 현실 세계에서 생존하는 방법을 배우기 위해 물리적 세계에서 실제 피드백을 받아야 하며, 강화 학습과 같은 실제 피드백을 사용해야 합니다. . 와서 세계를 돌아다니는 능력을 배워보세요. 이것은 확실히 가까운 미래에 가장 뜨거운 LLM 연구 방향이 될 것입니다.

다중 모드 LLM은 GPT 4에 눈과 귀를 제공하고, 구체화된 지능은 GPT 4에 몸, 발, 손을 제공합니다. GPT 4는 여러분과 나와 어느 정도 연결되어 있으며, GPT 4 자체의 강력한 학습 능력을 바탕으로 이러한 현상이 곧 우리 주변에 나타날 것으로 예상됩니다.

잘 생각해보면 사실 다른 유망한 방향도 많습니다. 내 개인적인 판단으로는 앞으로 5~10년은 AGI가 가장 빠르게 발전하는 황금의 10년이 될 것이다. 앞으로 30년이라는 시점에 서서 지난 10년을 되돌아볼 때, 우리 중 몇몇은 분명 다음 구절을 떠올릴 것이다. , 그리고 그 좋은 밤에 부드럽게.”

위 내용은 OpenAI가 GPT-4를 출시합니다. 주목할 만한 기술 동향은 무엇인가요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!