Sam Altman spricht über OpenAI: Angesichts der GPU-Knappheitspanik könnte GPT-3 Open Source sein

Seit dem Aufkommen von ChatGPT haben große Modelle und KI-Technologie weltweit große Aufmerksamkeit erregt. Einerseits staunen die Menschen über die neuen Fähigkeiten großer Modelle, andererseits sind sie besorgt über die Steuerbarkeit und zukünftige Entwicklung künstlicher Intelligenz. In diesem Jahr haben viele Experten auf dem Gebiet der KI, darunter die Turing-Award-Gewinner Geoffrey Hinton und Yoshua Bengio, gemeinsam davor gewarnt, dass große KI-Modelle eine Reihe von Risiken mit sich bringen werden, und einige haben sogar einen Stopp der Entwicklung nachfolgender großer Modelle gefordert KI-Modelle für GPT-4.

OpenAI ist als Unternehmen hinter großen Modellen wie ChatGPT und GPT-4 zweifellos in den Vordergrund gerückt. Sam Altman, CEO von OpenAI, ist derzeit auf einer weltweiten Vortragsreise, um die „Angst“ der Menschen vor künstlicher Intelligenz zu zerstreuen und sich die Meinungen von Entwicklern und Benutzern von OpenAI-Produkten anzuhören.

Laut Fortune traf sich Sam Altman im Mai hinter verschlossenen Türen mit einigen Entwicklern und Startup-Gründern und sprach über die Roadmap und Herausforderungen von OpenAI. Einer der Teilnehmer dieses nichtöffentlichen Treffens, Raza Habib, Mitbegründer und CEO von Humanloop, erwähnte kürzlich in einem Blog die Produktplanungs- und Entwicklungsengpässe von OpenAI.

Der ursprüngliche Blog wurde gelöscht, aber einige Internetnutzer haben einen Blog-Schnappschuss (Kopie) hochgeladen. Schauen wir uns den spezifischen Inhalt des Blogs an:

Das größte Problem, mit dem OpenAI jetzt konfrontiert ist, ist, dass es begrenzt ist durch GPU

Sehr schwerwiegende GPU-Einschränkungen, die auch die Umsetzung einiger ihrer kurzfristigen Pläne verzögerten. Die häufigsten Kundenbeschwerden betreffen heutzutage die Zuverlässigkeit und Geschwindigkeit von APIs. Sam erkannte das Problem an und erklärte, dass die meisten Probleme, über die sich Kunden beschwerten, auf GPU-Mangel zurückzuführen seien.

Bei der Textverarbeitung steht der längere 32k-Kontext noch nicht mehr Menschen zur Verfügung. Nun hat OpenAI das O(n^2)-Erweiterungsproblem des Aufmerksamkeitsmechanismus noch nicht vollständig überwunden. Obwohl OpenAI bald in der Lage zu sein scheint, 100.000 bis 1 Mio. Token-Kontextfenster (innerhalb dieses Jahres) zu erreichen, sind bei größeren Textverarbeitungsfenstern weitere Fortschritte erforderlich . Forschungsdurchbrüche.

Darüber hinaus ist die Feinabstimmungs-API derzeit auch durch die GPU-Versorgung begrenzt. OpenAI verwendet noch keine effizienten Feinabstimmungsmethoden wie Adapter oder LoRa, daher ist die Feinabstimmung sehr rechenintensiv in der Ausführung und Verwaltung. Sam gab bekannt, dass in Zukunft bessere Feinabstimmungstechnologien eingeführt werden und möglicherweise sogar eine Community für Forschungsmodelle geschaffen wird.

Darüber hinaus ist die Bereitstellung dedizierter Kapazität auch durch die GPU-Versorgung begrenzt. OpenAI bietet auch dedizierte Kapazität, sodass Kunden eine private Kopie ihres Modells erhalten. Um den Service nutzen zu können, müssen Kunden bereit sein, im Voraus 100.000 US-Dollar zu zahlen.

Die kurzfristige Roadmap von OpenAI

Während des Gesprächs teilte Sam die kurzfristige Roadmap für die OpenAI-API mit, die hauptsächlich in zwei Phasen unterteilt ist:

Roadmap für 2023:

• OpenAIs Spitze Priorität ist der Start. Billigeres, schnelleres GPT-4 – Insgesamt besteht das Ziel von OpenAI darin, die Kosten für Intelligenz so weit wie möglich zu senken, damit die Kosten der API mit der Zeit sinken.
• Längere Kontextfenster – In naher Zukunft könnten Kontextfenster bis zu 1 Million Token betragen.
• Nudge API – Die Nudge API wird auf die neuesten Modelle erweitert, ihre genaue Form wird jedoch von den Entwicklern bestimmt.
• Status-API – Wenn Sie nun die Chat-API aufrufen, müssen Sie immer wieder denselben Konversationsverlauf durchgehen und immer wieder für denselben Token bezahlen. Eine zukünftige Version der API wird in der Lage sein, sich den Sitzungsverlauf zu merken.
• Weg bis 2024:
• Multimodalität – Dies wurde im Rahmen der GPT-4-Veröffentlichung demonstriert, wird aber nicht für alle skalierbar sein, bis weitere GPUs online gehen.

Das Plugin hat kein PMF und wird in absehbarer Zeit nicht in der API enthalten sein

Viele Entwickler sind daran interessiert, über die API auf ChatGPT-Plugins zuzugreifen, aber Sam sagte, er glaube nicht, dass diese Plugins dies tun werden bald veröffentlicht werden. Die Verwendung anderer Plugins als Browsing deutet darauf hin, dass PMF noch nicht vorhanden ist. Sam wies darauf hin, dass viele Leute möchten, dass ihre Anwendungen innerhalb von ChatGPT liegen, aber was sie wirklich wollen, ist ChatGPT innerhalb der Anwendung.

OpenAI wird es vermeiden, mit seinen Kunden zu konkurrieren, außer mit ChatGPT-ähnlichen Produkten.

Viele Entwickler sagen, dass sie bei der Veröffentlichung neuer Produkte durch OpenAI nervös sind, wenn es um Apps geht, die mit der OpenAI-API erstellt wurden, weil OpenAI möglicherweise irgendwann ein Produkt herausbringt, das mit ihnen konkurriert . Sam sagte, dass OpenAI außer ChatGPT keine weiteren Produkte veröffentlichen wird. Er sagte, dass es viele großartige Plattformunternehmen gibt, die eine Killer-App haben und ChatGPT es ihnen ermöglichen wird, ihre API zu verbessern, indem sie Kunde ihres eigenen Produkts werden. Die Vision von ChatGPT besteht darin, ein superintelligenter Arbeitsassistent zu sein, aber es gibt viele andere GPT-Anwendungsfälle, auf die OpenAI nicht eingehen wird.

Regulierung ist notwendig, aber Open Source auch.

Obwohl Sam sich für die Regulierung zukünftiger Modelle einsetzt, glaubt er nicht, dass bestehende Modelle gefährlich sind und glaubt, dass eine Regulierung oder ein Verbot ein großer Fehler wäre. Er betonte noch einmal die Bedeutung von Open Source und sagte, dass OpenAI über Open Source GPT-3 nachdenke. Einer der Gründe, warum OpenAI bei der Open-Source-Entwicklung so langsam vorgeht, liegt darin, dass sie der Meinung sind, dass nicht viele Menschen und Unternehmen in der Lage sind, derart große Sprachmodelle ordnungsgemäß zu verwalten.

Das Gesetz der Skalierung existiert immer noch

In vielen aktuellen Artikeln wurde behauptet, dass „die Ära der riesigen KI-Modelle vorbei ist“. Sam meinte, das entspreche nicht genau dem, was er meinte.

Die internen Daten von OpenAI zeigen, dass das Gesetz der Skalierung immer noch gilt und eine Vergrößerung des Modells die Leistung weiter verbessern wird. Allerdings kann die Modellgröße nicht immer im gleichen Maßstab zunehmen, da OpenAI die Modellgröße in nur wenigen Jahren bereits millionenfach vergrößert hat und es unhaltbar wäre, dies auch weiterhin zu tun. Das bedeutet aber nicht, dass OpenAI aufhören wird, seine Modelle größer zu machen, aber es bedeutet, dass sie ihre Größe jedes Jahr verdoppeln oder verdreifachen könnten, anstatt um Größenordnungen zu wachsen.

Die Tatsache, dass das erweiterte Modell weiterhin gültig ist, hat wichtige Auswirkungen auf die Entwicklung von AGI. Die Idee der Skalierung besteht darin, dass wir wahrscheinlich bereits über die meisten Elemente verfügen, die zum Aufbau einer AGI erforderlich sind, und ein Großteil der verbleibenden Arbeit darin bestehen wird, vorhandene Methoden zu übernehmen und sie auf größere Modelle und größere Datensätze zu skalieren. Wenn die Ära der Modellerweiterungen vorbei ist, wird es noch länger dauern, bis wir AGI erreichen. Die Tatsache, dass das Gesetz der Skalierung immer noch gilt, bedeutet, dass wir AGI in kürzerer Zeit erreichen werden.

Das obige ist der detaillierte Inhalt vonSam Altman spricht über OpenAI: Angesichts der GPU-Knappheitspanik könnte GPT-3 Open Source sein. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!