Gelöschtes Transkript von Sam Altmans Vortrag: Open AI mangelt es auch an GPUs, und Kostenreduzierung ist das Hauptziel

1,2 Milliarden US-Dollar + fast die gesamte Rechenleistung, nachdem Microsoft „Half Life“ an OpenAI übergeben hat.

Autor |. Lingzijun

Herausgeber |. Wei Shijie

SamAltmans Europatournee ist noch im Gange. Vor nicht allzu langer Zeit hatte er ein privates Treffen mit dem CEO des Unternehmens für künstliche Intelligenz HumanLoop in London. HumanLoop ist ein Unternehmen, das Dienste zum Erstellen von Anwendungen auf großen Sprachmodellen bereitstellt und dessen Ziel es ist, Entwicklern dabei zu helfen, dieses Ziel zu erreichen.

Raza Habib, CEO von HumanLoop, zeichnete die wichtigsten Punkte des Gesprächs auf und veröffentlichte sie auf der offiziellen Website des Unternehmens. Aber dann wurde das Protokoll auf Wunsch von OpenAI entfernt. Das steigerte tatsächlich die Neugier der Außenwelt auf dieses Gespräch. Einige Leute spekulieren, dass sich einige der Ideen von OpenAI geändert haben.

Nachdem Geek Park die gelöschten Gesprächsprotokolle durchgesehen hatte, stellte er fest, dass es nicht nur um Sams kurzfristige Planung für OpenAI ging, sondern auch um den Druck, unter dem OpenAI stand, nachdem es starke Unterstützung von den Cloud-Computing-Ressourcen von Microsoft erhalten hatte. Schließlich verbrauchen Modellfeinabstimmung und -inferenz immer noch viele Rechenressourcen. Den Informationen zufolge hat das Open-AI-Modell Microsoft Azure 1,2 Milliarden US-Dollar gekostet. Die Konzentration der Computerressourcen auf die Unterstützung von OpenAI schränkt auch die Server ein, die anderen Microsoft-Abteilungen zur Verfügung stehen.

In diesem Zusammenhang sagte Sam

Kosten senken ist derzeit das vorrangige Ziel. Darüber hinaus verriet Sam auch: Derzeit sind Dienste wie das Öffnen längerer Kontextfenster und die Bereitstellung von Feinabstimmungs-APIs

durch GPU-Ressourcen begrenzt

In diesem Gespräch ging Sam Altman auf viele Themen ein, die die Außenwelt beunruhigen, wie etwa Wettbewerb und Kommerzialisierung:

Obwohl OpenAI gerade einen Weltklasse-Produktmanager, Peter Deng, eingestellt hat, erwägt es nicht, weitere Produkte herauszubringen

1. Der zukünftige Anwendungstrend besteht darin, die Funktionen großer Modelle in mehr APPs einzubetten, anstatt mehr Plug-Ins auf ChatGPT zu entwickeln, da die meisten Plug-Ins in Wirklichkeit kein PMF (Product/Market Fit) anzeigen
2. In den letzten Jahren hat OpenAI den Modellmaßstab millionenfach erweitert, aber diese Geschwindigkeit ist nicht nachhaltig. Als nächstes wird OpenAI die Modellgröße weiterhin um das Ein- bis Dreifache erhöhen, um die Modellleistung zu verbessern.

Das Protokoll des Gesprächs wurde am 29. Mai veröffentlicht und laut Aufzeichnungen von Internetnutzern um den 3. Juni gelöscht.

Das erhalten Sie mit dem Backup:

01

OpenAI wird derzeit von

unterstützt

Erhebliche Einschränkungen der GPU

Während sich das Gespräch ausdehnt,

Die benötigten Rechenressourcen wachsen exponentiell

Derzeit sind die GPUs von OpenAI sehr begrenzt, was viele ihrer kurzfristigen Pläne verzögert. Die größten Beschwerden von Kunden betreffen die Zuverlässigkeit und Geschwindigkeit der API. Sam nahm ihre Bedenken zur Kenntnis und erklärte:

Die meisten Probleme sind auf GPU-Mangel zurückzuführen.

Der längere 32.000-Kontext kann noch nicht für mehr Menschen bereitgestellt werden.

OpenAI hat die O(n^2)-Skalierung der Aufmerksamkeit nicht überwunden, und obwohl es plausibel schien, würden sie bald 100.000 – 1 Mio. Token-Kontextfenster haben ( dieses Jahr) alles Größere würde einen Forschungsdurchbruch erfordern

Der längere 32K-Kontext ist noch nicht für mehr Menschen verfügbar.

OpenAI hat das O(n^2)-Skalierungsproblem des Aufmerksamkeitsmechanismus noch nicht überwunden, obwohl es so aussieht, als ob sie bald (in diesem Jahr) ein Kontextfenster von 100.000 bis 1 Mio. Tokens haben werden. Jedes größere Fenster würde Forschungsdurchbrüche erfordern. Hinweis: O (n^2) bedeutet, dass mit zunehmender Sequenzlänge

Die zur Durchführung von Aufmerksamkeitsberechnungen erforderlichen Rechenressourcen exponentiell zunehmen.

O wird verwendet, um die Obergrenze oder das Worst-Case-Szenario der Wachstumsrate der Zeit- oder Raumkomplexität des Algorithmus zu beschreiben (n^2), was bedeutet, dass die Komplexität proportional zum Quadrat der Eingabegröße ist.

Die Feinabstimmungs-API ist derzeit auch durch die GPU-Verfügbarkeit begrenzt.

Sie verwenden noch keine effizienten Feinabstimmungsmethoden wie Adapter oder LoRa, daher ist die Ausführung und Verwaltung (des Modells) durch Feinabstimmung sehr rechenintensiv. Zukünftig wird es eine bessere Unterstützung bei der Feinabstimmung geben. Sie könnten sogar einen Community-basierten Marktplatz für Modellbeiträge betreiben. Die Bereitstellung dedizierter Kapazität ist durch die GPU-Verfügbarkeit begrenzt. OpenAI bietet dedizierte Kapazitäten, um Kunden private Kopien von Modellen zur Verfügung zu stellen. Um den Service in Anspruch zu nehmen, müssen Kunden bereit sein, im Voraus 100.000 US-Dollar zu zahlen.

02

Die aktuelle Roadmap von OpenAI

2023, intelligente Kosten reduzieren

2024, begrenzte Demo der Multimodalität

Sam teilte auch mit, was seiner Meinung nach die vorläufige kurzfristige Roadmap für die OpenAI-API ist.

2023:

• Günstigeres und schnelleres GPT-4 ーーDas hat für sie oberste Priorität. Insgesamt besteht das Ziel von OpenAI darin, die „Kosten für Intelligenz“ so weit wie möglich zu reduzieren, daher werden sie hart daran arbeiten, die Kosten der API im Laufe der Zeit weiter zu senken.
• Längeres Kontextfenster ーーIn naher Zukunft könnte das Kontextfenster bis zu 1 Million Token betragen.
• Nudge API ーDie Nudge API wird auf die neuesten Modelle ausgeweitet, die genaue Form hängt jedoch davon ab, dass die Entwickler angeben, was sie wirklich wollen.
• Eine zustandsbehaftete API – Wenn Sie heute die Chat-API aufrufen, müssen Sie immer wieder denselben Konversationsverlauf durchgehen und immer wieder dieselben Token bezahlen. Es wird eine zukünftige Version der API geben, die den Sitzungsverlauf speichert.

2024:

Multimodalität – Dies wird im Rahmen der GPT-4-Version vorgeführt, lässt sich jedoch nicht für alle skalieren, bis weitere GPUs online gehen.

03

Kommerzialisierungsprognose und -denken:

Plug-in „Kein PMF“,

Wird wahrscheinlich so schnell nicht in der API verfügbar sein

Viele Entwickler sind an ChatGPT-Plugins mit API-Zugriff interessiert, aber Sam sagte, er glaube nicht, dass diese Plugins in absehbarer Zeit veröffentlicht werden. Neben dem Brosing-Plugin weist die Verwendung anderer Plugins darauf hin, dass noch kein PMF (Product/Market Fit) vorliegt. Er weist darauf hin, dass viele Leute denken, sie möchten, dass ihre Apps in ChatGPT integriert sind, aber was sie wirklich wollen, ist, dass ChatGPT in der App existiert.

04

Außer ChatGPT,

OpenAI wird es vermeiden, mit seinen Kunden zu konkurrieren

Großartige Unternehmen haben sie alle

Eine Killer-App

Viele Entwickler geben an, dass sie Angst vor der Entwicklung mit der OpenAI-API haben, weil OpenAI möglicherweise irgendwann Produkte veröffentlichen wird, die mit ihnen konkurrieren können. Sam sagte: OpenAI wird keine weiteren Produkte außerhalb von ChatGPT veröffentlichen. Historisch gesehen, sagte er, hätten großartige Plattformunternehmen eine Killer-App. Mit ChatGPT können Entwickler die API verbessern, indem sie Kunden ihrer eigenen Produkte werden. Die Vision von ChatGPT ist es, ein superintelligenter Arbeitsassistent zu werden, aber es gibt viele andere GPT-Anwendungsfälle, die OpenAI nicht abdecken wird.

05

Benötige Aufsicht,

Aber nicht jetzt

「Wie viele Menschen und Unternehmen liebe ich

Zweifle an der Fähigkeit, große Modelle zu halten“

Während Sam eine Regulierung zukünftiger Modelle fordert, hält er bestehende Modelle nicht für gefährlich und hält es für einen großen Fehler, sie zu regulieren oder zu verbieten. Er betonte noch einmal die Bedeutung von Open Source und sagte, dass OpenAI darüber nachdenke, GPT-3 Open Source zu machen. Sie sind noch nicht Open Source, auch weil er skeptisch ist, wie viele Einzelpersonen und Unternehmen in der Lage sind, große Sprachmodelle (LLMs) zu halten und zu bedienen.

06

Das Skalengesetz gilt weiterhin

Millionenfache Expansionsgeschwindigkeit in ein paar Jahren,

Es kann nicht ewig so weitergehen

In letzter Zeit gab es viele Artikel, in denen behauptet wurde, dass „die Ära der riesigen KI-Modelle vorbei ist“. Das ist nicht korrekt. (Anmerkung: Bei einer Veranstaltung am MIT im April sagte Sam Altman: Wir nähern uns jetzt dem Ende der Ära der Riesenmodelle.)

Die internen Daten von OpenAI zeigen, dass das Skalengesetz für die Modellleistung weiterhin gilt und eine zunehmende Modellgröße die Leistung weiter verbessern wird.

Da OpenAI seine Modelle in nur wenigen Jahren millionenfach skaliert hat, kann diese Expansionsrate nicht aufrechterhalten werden. Das bedeutet nicht, dass OpenAI nicht weiterhin versuchen wird, Modelle größer zu machen, aber es bedeutet, dass sie ihre Größe wahrscheinlich jedes Jahr verdoppeln oder verdreifachen werden, anstatt sie um viele Größenordnungen zu vergrößern.

Das Gesetz der Skalierung hat wichtige Auswirkungen auf die Zeitpläne der AGI-Entwicklung. Das Skalengesetz geht davon aus, dass wir wahrscheinlich bereits über die meisten Elemente verfügen, die zum Aufbau von AGI erforderlich sind, und dass die verbleibende Arbeit hauptsächlich darin besteht, bestehende Methoden auf größere Modelle und größere Datensätze zu skalieren. Wenn das Zeitalter der Größenordnung hinter uns liegt, sind wir möglicherweise noch weiter von AGI entfernt. Die Tatsache, dass das Skalengesetz weiterhin gilt, deutet stark auf eine kürzere Zeitspanne hin.

Eine Frage von einem Geek

Was halten Sie von OpenAI

Wie sieht die aktuelle technische Roadmap aus?

Heiße Videos

Vollversion des Apple Vison Pro-Produktdisplays enthüllt! Keine Hardware erforderlich, wir sehen uns. Verschmelzen Sie die digitale und die reale Welt nahtlos!

Liken und folgen SieGeek Park-Videokonto,

Sehen Sie sich weitere spannende Videos an

Mehr lesen

Das obige ist der detaillierte Inhalt vonGelöschtes Transkript von Sam Altmans Vortrag: Open AI mangelt es auch an GPUs, und Kostenreduzierung ist das Hauptziel. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!