2022년 12월, ChatGPT가 탄생했습니다. OpenAI는 핵폭탄 수준의 결과로 과학 연구 및 엔지니어링 응용의 패러다임을 바꾸었습니다. 중국에서는 ChatGPT가 광범위한 관심과 심오한 토론을 받았습니다. 지난 한 달 동안 저는 베이징에서 상하이, 항저우, 선전에 이르기까지 주요 대학, 연구소, 대규모 공장, 스타트업 기업, 벤처 캐피탈을 방문하여 모든 주요 기업들과 이야기를 나눴습니다. 규모의 게임은 이미 중국에서 시작됐다. 국내 기술과 생태계, 그리고 세계 최고 수준의 격차가 큰 상황에서 폭풍의 중심에 있는 플레이어들은 이를 어떻게 달성할 수 있을까? 누가 이것을 할 수 있나요?
Qin은 사슴을 잃었고, 전 세계가 사슴을 쫓아냈습니다. ———— "회음후작기·회음후전"
스타트업에 연락할 때마다 같은 질문: "ChatGPT는 어디에 있나요? 무엇을 하고 싶으신가요?" 아마도 세 가지 다른 답변을 받았을 것입니다. 첫 번째 대답은 분명합니다. 중국의 ChatGPT를 구축하는 것입니다.
1.1 Make China’s ChatGPT
거기에 있기 때문에 재현해서 현지화하고 싶습니다. 이것이 매우 고전적인 제품 중심의 중국 인터넷 사고입니다. 이 아이디어는 또한 지난 20년 동안 중국 인터넷의 일반적인 비즈니스 모델이기도 합니다. 먼저 실리콘 밸리가 무언가를 만든 다음 우리가 그것을 복사합니다.
그런데 여기서 문제는 우선 ChatGPT가 택시 호출 소프트웨어와 같지 않고 재생 난이도가 전혀 다르다는 것입니다. 인간의 관점에서 볼 때, GPT의 탄생은 2015년부터 세계 최고의 과학자와 엔지니어들의 지속적인 연구의 결과입니다. OpenAI의 수석 과학자 Ilya Sutskever[1], 는 AGI가 달성될 수 있다고 깊이 믿습니다. 튜링상 수상자 Geoffery Hinton의 제자로서 2007년부터 딥러닝을 연구해 왔습니다. 그는 370,000번의 인용을 가지고 있으며, 그가 출판한 기사는 지난 10년 동안 딥 러닝의 모든 핵심 노드에 정확하게 도달했습니다. 이렇게 강력한 팀이 있음에도 불구하고 GPT 2에서 GPT 3.5까지 가는 데 4년이 걸렸습니다. 과학과 공학의 어려움을 짐작할 수 있습니다.
동시에 1세대 ChatGPT는 GPT 3.5의 기본 모델을 기반으로 OpenAI에서 만든 데모입니다. 2주 동안 대화 상자를 미세 조정한 후 폐기되었습니다 . 여기서 진정한 강점은 ChatGPT 제품이 아니라 기본 GPT 3.5 기본 모델입니다. 이 모델은 여전히 진화하고 있습니다. GPT 3.5 시리즈는 2022년에 세 가지 주요 버전으로 업데이트되었습니다. 출시 후 몇 달이 지났습니다. 각각의 작은 버전은 단일 차원에서 이전 버전에 비해 눈에 띄게 개선되었습니다. 모든 OpenAI 모델은 지속적으로 진화하고 시간이 지남에 따라 더욱 강력해지고 있습니다. 현재 제품 ChatGPT에만 집중한다면
은 검을 찾으려는 것과 같습니다. ChatGPT가 등장했을 때, 당시 OpenAI의 근간인 비슷한 것을 만들기 위해 1~2년을 노력해도 기본 모델의 진화를 볼 수 없다면 기존 음성 비서에 차원 축소 타격을 입혔습니다. 모델도 계속해서 강해지고 있습니다. 더욱 강력한 새 기본 모델로 더욱 강력한 제품을 계속해서 제품화하고 미세 조정하면 다시 차원 축소의 타격을 받게 될까요? 배를 깎고 검을 구하는 접근 방식은 통하지 않습니다.
1.2 중국의 OpenAI가 되자
두 번째 대답은 중국의 OpenAI가 되는 것입니다. 이 답변을 한 플레이어는 고전적인 중국 인터넷 제품 사고에서 뛰어났습니다. 그들은 단일 제품을 보았을 뿐만 아니라, 첨단 인재의 밀도와 선진적인 조직 구조에서 비롯되는 이 제품의 기본 모델이 지속적으로 진화하는 강력한 원동력을 보았습니다.
사람>> 카드 >> 돈 . AGI가 돈을 벌 수 있다고 믿습니까, 아니면 AGI가 인류 발전을 촉진할 수 있다고 믿습니까? [4]를 도울 수 있도록 모든 노력을 기울일 수 있습니다. 이것을 중국으로 바꾸면 Alibaba Cloud가 스타트업 기업을 도울 수 있을까요? 조직 구조는 매우 중요합니다. 최첨단 인재와 고급 조직 구조만이 지능의 지속적인 반복과 진화를 촉진할 수 있지만, 그것이 위치한 토양에 적응하고 번영할 방법도 찾아야 합니다. 1.3 지능의 한계 탐색 세 번째 대답은 입니다. 이것이 내가 들은 최고의 대답이다. 모든 면에서 검을 추구하는 고전적인 인터넷 제품 사고를 훨씬 뛰어넘어 조직 구조와 최첨단 인재 밀도의 중요성을 보고, 더 중요한 것은 미래를 보고, 모델 진화와 제품 반복을 보고 생각한다는 것입니다. 가장 심오하고 심오한 것을 어떻게 통합할 것인가에 대해 가장 혁신적인 접근 방식으로 어려운 문제를 해결합니다. 이것은 대형 모델을 생각하는 극단적인 생각을 포함합니다. 2. 극단적인 사고 위의 네 가지 점은 이 단계에서만 볼 수 있습니다. 즉시 강화할 수는 있지만 아직 강화된 점은 없습니다. 시간이 지나고 모델이 발전하면 더 많은 차원이 될 것입니다. 규모에 따라 추가로 반영됩니다. 즉, 채울 수 있는 차원을 모두 채웠을 때 모델이 어떤 모습일지 극단적인 사고를 갖고 생각해야 한다는 뜻이다. 2.1은 모든 것을 채울 수 있습니다. 모델의 입력 상자는 계속 길어질 수 있고, 모델의 크기는 계속 증가할 수 있으며, 모델의 데이터는 계속 증가할 수 있습니다. 다중 모달 데이터 모델의 전문화 정도는 계속해서 높아질 수 있으며, 이 모든 차원은 계속해서 위로 끌어올려질 수 있습니다. 모델은 아직 한계에 도달하지 않았습니다. 한계는 과정입니다. 이 과정에서 모델의 능력은 어떻게 발전할까요? 그래서 극단적인 사고 하에서 채울 수 있는 모든 차원이 채워지면 모델은 점점 더 강해지고 더 많은 창발 능력을 갖게 될 것입니다. 2.2 중간 과정을 역전시키세요 한계 과정에 대해 명확하게 생각한 후 한계 상태에서 중간 과정을 되돌릴 수 있습니다. 예를 들어 입력 상자의 크기를 늘리고 싶다면 이렇게 하면 다양한 단계에서 스케일링에 필요한 기술이 무엇인지 추론할 수 있습니다. 위의 분석은 입력 상자의 길이에만 적용되는 것이 아니라 다른 요소의 크기 조정 과정에도 적용됩니다. 이렇게 하면 현재 기술부터 확장의 한계까지 명확한 중간 단계별 기술 로드맵을 얻을 수 있습니다. 2.3 모델 진화 프로세스에 따른 제품화 모델은 끊임없이 진화하지만 제품화는 최종 모델이 완성될 때까지 기다릴 필요가 없습니다. 모델의 대규모 버전이 반복될 때마다 제품화가 가능합니다. 제품화. OpenAI의 제품화 과정을 예로 들어보겠습니다. 에서 볼 수 있습니다 각각의 중요한 버전은 중간 단계에서 모델의 성능이 향상되고 제품화 기회가 있을 것입니다. 더 중요한 것은 모델 진화 과정에 따라 제품화 단계에서 시장에 적응할 수 있다는 것입니다. 모델 진화 자체를 촉진하기 위해 OpenAI의 조직 구조를 배우되, 제품화는 현지 시장의 특성에 따라 이루어질 수 있습니다. 이러한 접근 방식을 통해 적응 문제를 피하면서 OpenAI의 고급 경험을 통해 배울 수 있습니다. 지금까지 모델을 모델 진화의 관점에서 분석하고, 극단적인 사고를 통해 모델의 진화를 논의해야 할 필요성에 대해 논의했습니다. 이 단계에서 즉시 향상될 수 있는 점으로는 입력 상자의 길이, 더 큰 모델 및 데이터, 다중 모드 데이터, 모델의 전문화 정도 등이 있습니다. 이제 좀 더 장기적인 시각을 갖고 더 큰 시간과 공간에서 모델이 어떻게 한계까지 더 확장될 수 있는지 생각해 보겠습니다. 우리는 다음을 논의합니다: 이러한 관점에서 인공지능이 인간을 능가한다는 것은 상상할 수 없는 일이 아니다. 이는 다음 질문으로 이어집니다. 인간을 훨씬 능가하는 강력한 인공 지능을 어떻게 제어할 수 있을까요? 이 문제는 정렬 기술이 정말로 해결하고 싶은 것입니다. 현 단계에서 모델의 능력은 AlphaGo가 바둑에서 최강 인간을 능가한다는 점을 제외하면 다른 AI는 최강 인간을 능가하지 못했습니다(그러나 ChatGPT는 인문학에서 최강 인간을 능가했을 수도 있습니다) 95 %이며 계속 성장하고 있습니다). 모델이 인간을 능가하지 못한 경우 Alignment의 임무는 모델이 인간의 가치와 기대에 부합하도록 만드는 것입니다. 그러나 모델이 인간을 능가하도록 계속 진화한 후에는 Alignment의 임무는 훨씬 더 뛰어난 지능형 에이전트를 제어하는 방법을 찾는 것이 됩니다. 인간. 4.1 인간을 훨씬 뛰어넘는 지능형 에이전트를 제어하는 방법으로서의 정렬 분명한 질문은 AI가 인간을 능가한 후에도 인간의 피드백을 통해 AI가 여전히 더 강해지고 더 제한될 수 있느냐는 것입니다. 지금은 통제 불능인가요? 모델이 인간보다 훨씬 우수하더라도 여전히 제어할 수 있습니다. 여기에는 운동선수와 코치의 관계가 있습니다. 금메달을 딴 선수들은 이미 자신이 속한 분야에서 가장 강한 인간입니다. , 그러나 이것이 코치가 그를 훈련할 수 없다는 것을 의미하지는 않습니다. 반대로 코치가 운동선수만큼 뛰어나지 않더라도 다양한 피드백 메커니즘을 통해 운동선수를 더욱 강하고 규율 있게 만들 수 있습니다. 마찬가지로 인간과 강력한 인공지능의 관계는 AI 개발 중후반에는 운동선수와 코치의 관계가 될 수도 있습니다. 이때 인간에게 필요한 능력은 목표를 달성하는 능력이 아니라, 좋은 목표를 세우고, 기계가 목표를 충분히 잘 달성했는지 측정하고 개선방안을 제시하는 것입니다. 이 방향에 대한 연구는 아직 매우 예비적입니다. 이 새로운 분야의 이름은 확장 가능한 감독[15]입니다. 4.2 정렬 및 조직 구조 지능, 인간과 AI가 일치해야 할 뿐만 아니라 인간과 인간도 고도로 일치해야 합니다. 조직 구조의 관점에서 정렬에는 다음이 포함됩니다. 2017년 처음 NLP 업계에 입문했을 때 Controlable Generation에 많은 노력을 기울였습니다. 당시 가장 소위 텍스트 스타일 이전은 문장의 감정 분류를 좋은 것으로 바꾸는 것이 완전한 이전으로 간주되었습니다. 2018년에는 문장 구조의 관점에서 모델이 문장 스타일을 수정하도록 하는 방법을 연구하는 데 많은 시간을 보냈습니다. 스타일 변환이 거의 불가능하다고 잘못 생각한 적이 있습니다. 이제 ChatGPT를 사용하면 스타일 변환이 매우 쉬워집니다. 한때 불가능해 보였던 작업, 극도로 어려웠던 작업을 이제는 대규모 언어 모델을 사용하여 매우 쉽게 수행할 수 있습니다. 2022년 내내 저는 GPT-3부터 GPT-3.5[11]까지 모든 버전 반복을 추적하고 약한 버전에서 강한 버전으로 단계별로 지속적인 진화를 내 눈으로 보았습니다. 이 진화 속도는 느려지는 것이 아니라 가속화되고 있습니다. 한때 공상과학처럼 보였던 일이 이제는 현실이 되었습니다. 미래가 어떻게 될지 누가 알겠어요? 기장을 분리하고, 벼의 모종이 자라고 있습니다. 속도는 느리고 소심하며 중심이 흔들리고 있다. 기장은 분리되고, 곡식의 이삭은 분리됩니다. 큰 보폭으로 앞으로 나아가는 중심은 마치 취한 것 같다. ———— "가경·밀리"
그래서 이것을 하려면 제품뿐만 아니라 그 뒤에 있는 인재 팀과 조직 구조도 희소성에 따른 순위를 확인해야 합니다.
방법은 이때 비디오 메모리를 추가하면 입력 상자의 길이에 따른 주의 계산량의 2차 증가를 지원할 수 없기 때문입니다.
4. 정렬
5. 결론
위 내용은 ChatGPT 중국어 버전은 누가 만들 수 있나요? 어떻게 하나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
