Im Dezember 2022 wurde ChatGPT geboren. OpenAI hat das Paradigma der wissenschaftlichen Forschung und technischen Anwendungen mit einem Ergebnis auf Atombombenniveau verändert. In China hat ChatGPT große Aufmerksamkeit und tiefgreifende Diskussionen erhalten. Im vergangenen Monat habe ich große Universitäten, Forschungsinstitute, große Fabriken, Start-up-Unternehmen und Risikokapitalgeber von Peking über Shanghai und Hangzhou bis Shenzhen besucht und mit allen führenden Akteuren gesprochen. Das Game of Scale hat in China bereits begonnen. Wie können die Akteure im Zentrum des Sturms angesichts der großen Kluft zwischen heimischer Technologie und Ökologie und der weltweiten Spitzenreiterschaft dies erreichen? Wer kann das machen?
Qin hat seinen Hirsch verloren und die ganze Welt hat ihn vertrieben. ———— „Historische Aufzeichnungen · Biografien des Marquis von Huaiyin“
Jedes Mal, wenn ich mit einem Startup-Unternehmen in Kontakt komme, frage ich das gleiche Frage: „Wo ist ChatGPT? Was möchten Sie tun?“ Ich habe wahrscheinlich drei verschiedene Antworten erhalten. Die erste Antwort ist klar: Chinas ChatGPT aufbauen.
1.1 Machen Sie Chinas ChatGPT
Weil es da ist, möchte ich es reproduzieren und lokalisieren. Das ist sehr klassisches produktorientiertes chinesisches Internet-Denken. Diese Denkweise war in den letzten zwei Jahrzehnten auch im chinesischen Internet ein gängiges Geschäftsmodell: Zuerst macht das Silicon Valley etwas, und dann kopieren wir es.
Aber das Problem hierbei ist, dass ChatGPT erstens nicht wie eine Software für Taxirufe ist und die Schwierigkeit der Reproduktion völlig anders ist. Aus menschlicher Sicht ist die Entwicklung von GPT das Ergebnis kontinuierlicher Forschung der weltweit führenden Wissenschaftler und Ingenieure seit 2015. Der Chefwissenschaftler von OpenAI, Ilya Sutskever[1], glaubt fest daran, dass AGI erreicht werden kann. Als Schüler des Turing-Preisträgers Geoffery Hinton beschäftigt er sich seit 2007 mit Deep Learning. Er hat 370.000 Zitate und die Artikel, die er in den letzten zehn Jahren veröffentlicht hat, treffen genau alle Schlüsselaspekte des Deep Learning. Selbst mit einem so starken Team dauerte es vier Jahre, von GPT 2 auf GPT 3.5 umzusteigen. Man kann sich die Schwierigkeit der Wissenschaft und Technik vorstellen.
Gleichzeitig ist die erste Generation von ChatGPT eine von OpenAI erstellte Demo, die auf dem Grundmodell von GPT 3.5 basiert. Nachdem zwei Wochen lang den Dialog verfeinert hat , wurde er verworfen . Die eigentliche Stärke liegt hier nicht im Produkt ChatGPT, sondern im zugrunde liegenden GPT 3.5 Basismodell. Dieses Modell befindet sich noch in der Entwicklung. Die GPT 3.5-Serie wurde im Jahr 2022 mit drei Hauptversionen aktualisiert Monate nach ihrer Veröffentlichung weist jede kleine Version in einer einzelnen Dimension offensichtliche Verbesserungen auf. Alle OpenAI-Modelle entwickeln sich ständig weiter und werden mit der Zeit immer leistungsfähiger. Das heißt, wenn man sich nur auf das aktuelle Produkt ChatGPT konzentriert,
kommt dem Versuch gleich, ein Schwert zu finden. Als ChatGPT auf den Markt kam, verursachte es einen Rückschlag für die Dimensionsreduzierung bestehender Sprachassistenten; selbst wenn man ein oder zwei Jahre damit verbrachte, etwas Ähnliches zu schaffen, war die Entwicklung des Basismodells zu dieser Zeit die Grundlage von OpenAI Modelle werden auch weiterhin stärker, wenn sie weiterhin ein stärkeres Produkt mit einem neuen, stärkeren Basismodell produzieren und verfeinern, werden sie dann erneut von der Dimensionsreduzierung betroffen sein? Der Ansatz, ein Boot zu schnitzen und ein Schwert zu suchen, wird nicht funktionieren.
1.2 Werden Sie Chinas OpenAI
Die zweite Antwort ist, Chinas OpenAI zu werden. Der Spieler, der diese Antwort gab, ist aus dem klassischen chinesischen Internet-Produktdenken herausgesprungen. Sie sahen nicht nur ein einzelnes Produkt, sondern auch die starke treibende Kraft für die kontinuierliche Weiterentwicklung des Grundmodells hinter diesem Produkt, das aus der Dichte an Spitzentalenten und der fortschrittlichen Organisationsstruktur resultiert.
Wenn Sie dies tun möchten, müssen Sie also nicht nur das Produkt sehen, sondern auch das Talentteam und die Organisationsstruktur dahinter , Personen>> Karte >> Geld . Aber das Problem dabei ist, dass unterschiedliche Böden Innovationen unterschiedlich stark fördern. Als OpenAI im Jahr 2015 gegründet wurde, glaubten seine Investoren an AGI, auch wenn zu diesem Zeitpunkt noch kein Gewinn zu verzeichnen war. Nachdem GPT entwickelt wurde, haben auch inländische Investoren an AGI geglaubt, aber ihre Überzeugungen können unterschiedlich sein: Glauben Sie, dass AGI Geld verdienen kann, oder glauben Sie, dass AGI die menschliche Entwicklung fördern kann? Auch wenn OpenAI hier geboren wird und morgen erscheinen wird, kann der mit Microsoft erzielte Deal mit inländischen Cloud-Computing-Herstellern erreicht werden? Das Training und die Inferenz großer Modelle erfordern enorme Kosten und erfordern eine Cloud-Computing-Engine als Unterstützung. Microsoft kann seine ganze Kraft darauf verwenden, dass das gesamte Azure OpenAI unterstützt. [4] Organisationsstruktur ist sehr wichtig. Nur Spitzentalente und fortschrittliche Organisationsstrukturen können die kontinuierliche Iteration und Weiterentwicklung der Intelligenz fördern. 1.3 Erkunden Sie die Grenzen der Intelligenz Die dritte Antwort lautet: Erforschen Sie die Grenzen der Intelligenz . Das ist die beste Antwort, die ich je gehört habe. Es geht weit über das klassische Internet-Produktdenken hinaus, bei dem auf Schritt und Tritt nach einem Schwert gesucht wird. Es erkennt auch die Bedeutung der Organisationsstruktur und der Dichte an Spitzentalenten. Noch wichtiger ist, dass es die Zukunft sieht, Modellentwicklung und Produktiteration sieht und denkt darüber, wie man die tiefgreifendsten und tiefgreifendsten Dinge integriert. Das erfordert extremes Denken beim Nachdenken über große Modelle. Wenn man sich das aktuelle ChatGPT/GPT-3.5 ansieht, ist es offensichtlich, dass es noch viele Punkte gibt, die deutlich verbessert werden können, darunter: 2.1 kann alles füllen Das Eingabefeld des Modells kann weiter verlängert werden, die Größe des Modells kann weiter zunehmen, die Daten des Modells können weiter zunehmen, multimodale Daten kann fusioniert werden, und der Spezialisierungsgrad des Modells kann weiter zunehmen, und alle diese Dimensionen können weiter nach oben gezogen werden. Das Modell hat seine Grenzen noch nicht erreicht. Limit ist ein Prozess. Wie werden sich die Fähigkeiten des Modells während dieses Prozesses entwickeln?
2.2 Den Zwischenprozess umkehren Nachdem Sie klar über den Grenzprozess nachgedacht haben, können Sie den Zwischenprozess vom Grenzzustand aus umkehren. Wenn wir beispielsweise das Eingabefeld vergrößern möchten: Auf diese Weise können wir ableiten, welche Technologien für die Skalierung in den verschiedenen Phasen benötigt werden. Die obige Analyse gilt nicht nur für die Länge des Eingabefelds, sondern auch für den Skalierungsprozess anderer Faktoren. Auf diese Weise können wir eine klare technische Roadmap für jede Zwischenstufevon der aktuellen Technologie bis zur Skalierungsgrenze erhalten. 2.3 Produktisierung gemäß dem Modellentwicklungsprozess Modelle entwickeln sich ständig weiter, aber die Produktisierung muss nicht warten, bis das endgültige Modell fertiggestellt ist – immer dann, wenn eine große Version des Modells iteriert wird, kann dies geschehen produziert werden. Nehmen Sie als Beispiel den Produktisierungsprozess von OpenAI: Das ist in zu sehen Mit jeder wichtigen Version in der Zwischenphase werden die Fähigkeiten des Modells verbessert und es wird die Möglichkeit einer Produktisierung geben. Noch wichtiger ist, dass Sie sich während der Produktisierungsphase an den Markt anpassen können, indem Sie den Modellentwicklungsprozess verfolgen und ihn in die Produktion umsetzen. Lernen Sie die Organisationsstruktur von OpenAI kennen, um die Modellentwicklung selbst zu fördern. Die Produktisierung kann jedoch auf den Merkmalen des lokalen Marktes basieren. Dieser Ansatz ermöglicht es uns möglicherweise, aus den fortgeschrittenen Erfahrungen von OpenAI zu lernen und gleichzeitig das Problem der Akklimatisierung zu vermeiden. Bisher haben wir die Notwendigkeit diskutiert, das Modell aus der Perspektive der Modellentwicklung zu analysieren und extremes Denken zu verwenden, um die Entwicklung des Modells zu diskutieren. Zu den Punkten, die in dieser Phase sofort verbessert werden können, gehören die Länge des Eingabefelds, größere Modelle und Daten, multimodale Daten und der Spezialisierungsgrad des Modells. Lassen Sie uns nun einen längeren Blickwinkel werfen und darüber nachdenken, wie das Modell in einem größeren Zeit- und Raumbereich noch weiter an seine Grenzen gebracht werden kann. Wir besprechen: Dieses Problem möchte die Alignment-Technologie wirklich lösen. 4. Ausrichtung 4.1 Ausrichtung als Methode zur Steuerung intelligenter Agenten weit über den Menschen hinaus Eine offensichtliche Frage ist: Kann die KI, nachdem sie den Menschen übertrifft, durch menschliches Feedback noch stärker/eingeschränkter gemacht werden? Ist es zu diesem Zeitpunkt außer Kontrolle? Auch wenn das Modell den Menschen weit überlegen ist, können wir es dennoch kontrollieren. Ein Beispiel hierfür ist die Beziehung zwischen : Goldmedaillen-Athleten sind bereits die stärksten Menschen in ihrer Richtung. , aber das bedeutet nicht, dass der Trainer ihn nicht trainieren kann. Im Gegenteil: Auch wenn der Trainer nicht so gut ist wie der Sportler, kann er den Sportler durch verschiedene Feedback-Mechanismen dennoch stärker und disziplinierter machen. In ähnlicher Weise kann die Beziehung zwischen Menschen und starker künstlicher Intelligenz zur Beziehung zwischen Sportlern und Trainern in der mittleren und späteren Phase der KI-Entwicklung werden. Zu diesem Zeitpunkt besteht die Fähigkeit, die Menschen benötigen, nicht darin, ein Ziel zu erreichen, sondern darin, sich ein gutes Ziel zu setzen und dann zu messen, ob die Maschine das Ziel gut genug erreicht hat, und Verbesserungsvorschläge zu machen. Die Forschung in dieser Richtung ist noch sehr vorläufig. Der Name dieser neuen Disziplin heißt Scalable Oversight4.2 Ausrichtung und Organisationsstruktur Die Hirse wird abgetrennt, die Reiskeimlinge wachsen. Das Tempo ist langsam und zaghaft und die Mitte bebt. Die Hirse wird abgetrennt, die Ähren werden abgetrennt. Wenn man mit großen Schritten vorwärts geht, ist die Mitte wie ein Rausch. ———— „Das Buch der Lieder·Mili“
Methode, da das Hinzufügen von Videospeicher zu diesem Zeitpunkt nicht in der Lage sein sollte, den quadratischen Anstieg des Aufmerksamkeitsberechnungsvolumens mit der Länge des Eingabefelds zu unterstützen.
3. Der Punkt, an dem künstliche Intelligenz den Menschen deutlich übertrifft
Wie kann man eine starke künstliche Intelligenz kontrollieren, die die des Menschen bei weitem übertrifft?
Das obige ist der detaillierte Inhalt vonWer kann eine chinesische Version von ChatGPT erstellen? Wie geht das?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!