1,2 Milliarden US-Dollar + fast die gesamte Rechenleistung, nachdem Microsoft „Half Life“ an OpenAI übergeben hat.
Autor |. Lingzijun
Herausgeber |. Wei Shijie
SamAltmans Europatournee ist noch im Gange. Vor nicht allzu langer Zeit hatte er ein privates Treffen mit dem CEO des Unternehmens für künstliche Intelligenz HumanLoop in London. HumanLoop ist ein Unternehmen, das Dienste zum Erstellen von Anwendungen auf großen Sprachmodellen bereitstellt und dessen Ziel es ist, Entwicklern dabei zu helfen, dieses Ziel zu erreichen.
Raza Habib, CEO von HumanLoop, zeichnete die wichtigsten Punkte des Gesprächs auf und veröffentlichte sie auf der offiziellen Website des Unternehmens. Aber dann wurde das Protokoll auf Wunsch von OpenAI entfernt. Das steigerte tatsächlich die Neugier der Außenwelt auf dieses Gespräch. Einige Leute spekulieren, dass sich einige der Ideen von OpenAI geändert haben.
Nachdem Geek Park die gelöschten Gesprächsprotokolle durchgesehen hatte, stellte er fest, dass es nicht nur um Sams kurzfristige Planung für OpenAI ging, sondern auch um den Druck, unter dem OpenAI stand, nachdem es starke Unterstützung von den Cloud-Computing-Ressourcen von Microsoft erhalten hatte. Schließlich verbrauchen Modellfeinabstimmung und -inferenz immer noch viele Rechenressourcen. Den Informationen zufolge hat das Open-AI-Modell Microsoft Azure 1,2 Milliarden US-Dollar gekostet. Die Konzentration der Computerressourcen auf die Unterstützung von OpenAI schränkt auch die Server ein, die anderen Microsoft-Abteilungen zur Verfügung stehen.
In diesem Zusammenhang sagte SamKosten senken ist derzeit das vorrangige Ziel. Darüber hinaus verriet Sam auch: Derzeit sind Dienste wie das Öffnen längerer Kontextfenster und die Bereitstellung von Feinabstimmungs-APIs
durch GPU-Ressourcen begrenztIn diesem Gespräch ging Sam Altman auf viele Themen ein, die die Außenwelt beunruhigen, wie etwa Wettbewerb und Kommerzialisierung:
Obwohl OpenAI gerade einen Weltklasse-Produktmanager, Peter Deng, eingestellt hat, erwägt es nicht, weitere Produkte herauszubringen
Das erhalten Sie mit dem Backup:
01OpenAI wird derzeit von
unterstützt
Erhebliche Einschränkungen der GPUWährend sich das Gespräch ausdehnt,
Die benötigten Rechenressourcen wachsen exponentiell
Derzeit sind die GPUs von OpenAI sehr begrenzt, was viele ihrer kurzfristigen Pläne verzögert. Die größten Beschwerden von Kunden betreffen die Zuverlässigkeit und Geschwindigkeit der API. Sam nahm ihre Bedenken zur Kenntnis und erklärte:
Die meisten Probleme sind auf GPU-Mangel zurückzuführen.Der längere 32.000-Kontext kann noch nicht für mehr Menschen bereitgestellt werden.
OpenAI hat die O(n^2)-Skalierung der Aufmerksamkeit nicht überwunden, und obwohl es plausibel schien, würden sie bald 100.000 – 1 Mio. Token-Kontextfenster haben ( dieses Jahr) alles Größere würde einen Forschungsdurchbruch erfordern
Der längere 32K-Kontext ist noch nicht für mehr Menschen verfügbar.OpenAI hat das O(n^2)-Skalierungsproblem des Aufmerksamkeitsmechanismus noch nicht überwunden, obwohl es so aussieht, als ob sie bald (in diesem Jahr) ein Kontextfenster von 100.000 bis 1 Mio. Tokens haben werden. Jedes größere Fenster würde Forschungsdurchbrüche erfordern. Hinweis: O (n^2) bedeutet, dass mit zunehmender Sequenzlänge
Die zur Durchführung von Aufmerksamkeitsberechnungen erforderlichen Rechenressourcen exponentiell zunehmen.O wird verwendet, um die Obergrenze oder das Worst-Case-Szenario der Wachstumsrate der Zeit- oder Raumkomplexität des Algorithmus zu beschreiben (n^2), was bedeutet, dass die Komplexität proportional zum Quadrat der Eingabegröße ist.
Die Feinabstimmungs-API ist derzeit auch durch die GPU-Verfügbarkeit begrenzt.Sie verwenden noch keine effizienten Feinabstimmungsmethoden wie Adapter oder LoRa, daher ist die Ausführung und Verwaltung (des Modells) durch Feinabstimmung sehr rechenintensiv. Zukünftig wird es eine bessere Unterstützung bei der Feinabstimmung geben. Sie könnten sogar einen Community-basierten Marktplatz für Modellbeiträge betreiben. Die Bereitstellung dedizierter Kapazität ist durch die GPU-Verfügbarkeit begrenzt. OpenAI bietet dedizierte Kapazitäten, um Kunden private Kopien von Modellen zur Verfügung zu stellen. Um den Service in Anspruch zu nehmen, müssen Kunden bereit sein, im Voraus 100.000 US-Dollar zu zahlen.
02Die aktuelle Roadmap von OpenAI
2023, intelligente Kosten reduzieren
2024, begrenzte Demo der Multimodalität
Sam teilte auch mit, was seiner Meinung nach die vorläufige kurzfristige Roadmap für die OpenAI-API ist.
2023:2024: Multimodalität – Dies wird im Rahmen der GPT-4-Version vorgeführt, lässt sich jedoch nicht für alle skalieren, bis weitere GPUs online gehen. 03 Kommerzialisierungsprognose und -denken: Plug-in „Kein PMF“, Wird wahrscheinlich so schnell nicht in der API verfügbar sein Viele Entwickler sind an ChatGPT-Plugins mit API-Zugriff interessiert, aber Sam sagte, er glaube nicht, dass diese Plugins in absehbarer Zeit veröffentlicht werden. Neben dem Brosing-Plugin weist die Verwendung anderer Plugins darauf hin, dass noch kein PMF (Product/Market Fit) vorliegt. Er weist darauf hin, dass viele Leute denken, sie möchten, dass ihre Apps in ChatGPT integriert sind, aber was sie wirklich wollen, ist, dass ChatGPT in der App existiert. 04 Außer ChatGPT, OpenAI wird es vermeiden, mit seinen Kunden zu konkurrieren Großartige Unternehmen haben sie alle Eine Killer-App Viele Entwickler geben an, dass sie Angst vor der Entwicklung mit der OpenAI-API haben, weil OpenAI möglicherweise irgendwann Produkte veröffentlichen wird, die mit ihnen konkurrieren können. Sam sagte: OpenAI wird keine weiteren Produkte außerhalb von ChatGPT veröffentlichen. Historisch gesehen, sagte er, hätten großartige Plattformunternehmen eine Killer-App. Mit ChatGPT können Entwickler die API verbessern, indem sie Kunden ihrer eigenen Produkte werden. Die Vision von ChatGPT ist es, ein superintelligenter Arbeitsassistent zu werden, aber es gibt viele andere GPT-Anwendungsfälle, die OpenAI nicht abdecken wird. 05 Benötige Aufsicht, Aber nicht jetzt 「Wie viele Menschen und Unternehmen liebe ich Zweifle an der Fähigkeit, große Modelle zu halten“ Während Sam eine Regulierung zukünftiger Modelle fordert, hält er bestehende Modelle nicht für gefährlich und hält es für einen großen Fehler, sie zu regulieren oder zu verbieten. Er betonte noch einmal die Bedeutung von Open Source und sagte, dass OpenAI darüber nachdenke, GPT-3 Open Source zu machen. Sie sind noch nicht Open Source, auch weil er skeptisch ist, wie viele Einzelpersonen und Unternehmen in der Lage sind, große Sprachmodelle (LLMs) zu halten und zu bedienen. 06 Das Skalengesetz gilt weiterhin Millionenfache Expansionsgeschwindigkeit in ein paar Jahren, Es kann nicht ewig so weitergehen In letzter Zeit gab es viele Artikel, in denen behauptet wurde, dass „die Ära der riesigen KI-Modelle vorbei ist“. Das ist nicht korrekt. (Anmerkung: Bei einer Veranstaltung am MIT im April sagte Sam Altman: Wir nähern uns jetzt dem Ende der Ära der Riesenmodelle.) Die internen Daten von OpenAI zeigen, dass das Skalengesetz für die Modellleistung weiterhin gilt und eine zunehmende Modellgröße die Leistung weiter verbessern wird. Da OpenAI seine Modelle in nur wenigen Jahren millionenfach skaliert hat, kann diese Expansionsrate nicht aufrechterhalten werden. Das bedeutet nicht, dass OpenAI nicht weiterhin versuchen wird, Modelle größer zu machen, aber es bedeutet, dass sie ihre Größe wahrscheinlich jedes Jahr verdoppeln oder verdreifachen werden, anstatt sie um viele Größenordnungen zu vergrößern. Das Gesetz der Skalierung hat wichtige Auswirkungen auf die Zeitpläne der AGI-Entwicklung. Das Skalengesetz geht davon aus, dass wir wahrscheinlich bereits über die meisten Elemente verfügen, die zum Aufbau von AGI erforderlich sind, und dass die verbleibende Arbeit hauptsächlich darin besteht, bestehende Methoden auf größere Modelle und größere Datensätze zu skalieren. Wenn das Zeitalter der Größenordnung hinter uns liegt, sind wir möglicherweise noch weiter von AGI entfernt. Die Tatsache, dass das Skalengesetz weiterhin gilt, deutet stark auf eine kürzere Zeitspanne hin. Eine Frage von einem Geek Was halten Sie von OpenAI Wie sieht die aktuelle technische Roadmap aus? Heiße Videos Vollversion des Apple Vison Pro-Produktdisplays enthüllt! Keine Hardware erforderlich, wir sehen uns. Verschmelzen Sie die digitale und die reale Welt nahtlos! Liken und folgen SieGeek Park-Videokonto, Sehen Sie sich weitere spannende Videos an Mehr lesen
Das obige ist der detaillierte Inhalt vonGelöschtes Transkript von Sam Altmans Vortrag: Open AI mangelt es auch an GPUs, und Kostenreduzierung ist das Hauptziel. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
