Eilmeldung: OpenAI steht kurz vor der Veröffentlichung eines neuen Modells! Hängt der Wohlstand der Open-Source-Community ausschließlich von der „Wohltätigkeit' großer Unternehmen ab?

Gerade jetzt steht OpenAI laut den neuesten Nachrichten von The Information kurz vor der Veröffentlichung eines neuen Open-Source-Modells für große Sprachen.

Allerdings ist unklar, ob OpenAI beabsichtigt, das kommende Open-Source-Modell zu nutzen, um Marktanteile von Vicuna oder anderen Open-Source-Modellen zu erobern.

Aber es ist fast sicher, dass die Fähigkeiten des neuen Modells höchstwahrscheinlich nicht mit GPT-4 oder sogar GPT-3.5 mithalten können.

Die Bewertung von 27 Milliarden US-Dollar bestimmt schließlich auch, dass das fortschrittlichste Modell von OpenAI für kommerzielle Zwecke genutzt wird, obwohl die ersten beiden Versionen von GPT Open Source sind.

Ein Sprecher von OpenAI antwortete nicht auf eine Anfrage nach einem Kommentar.

Open-Source-Explosion der Alpaka-Familie

Vor zehn Tagen eine Kopie von Google Internal Dokumente durchgesickert. In diesem Artikel mit dem Titel „Wir haben keinen Wassergraben, und OpenAI auch nicht“ beklagt der Autor den schweren Schlag, den Open Source Google und OpenAI zugefügt hat.

Tatsächlich scheinen weder Google noch OpenAI die Gewinner dieses Wettrüstens zu sein, so wie es die Open-Source-Community ist Essen verlieren ihre „Vorteile“.

ChatGPT löste eine globale LLM-Revolution aus. Allerdings ist OpenAI nicht offen, und viele Unternehmen und Entwickler können nur zusehen und sich Sorgen machen.

Zu diesem Zeitpunkt trat Meta vor und veröffentlichte LLaMA, was Entwicklern auf der ganzen Welt Vorteile brachte.

Ursprünglich versprach Meta, dass LLaMA Open Source für nicht-kommerzielle Forschungsanwendungsfälle sein würde, aber wer hätte gedacht, dass das Gewicht von LLaMA nur eine Woche nach seiner Veröffentlichung steigen würde plötzlich auf 4chan sein Es ist online durchgesickert und hat sofort Tausende von Downloads ausgelöst.

Dieses „epische Leck“ hat den Bereich des Open-Source-LLM direkt verändert. In nur wenigen Wochen sind verschiedene ChatGPT-Ersetzungen blitzschnell explodiert.

Alpaka, Vicuna, Koala, ChatLLaMA, FreedomGPT, ColossalChat... Man kann es als eine Explosion der „Alpaka-Familie“ bezeichnen.

Tatsächlich hatte das Open-Source-Modell lange vor Yangtuo die Ambitionen von OpenAI zunichte gemacht.

Damals sorgte das neu veröffentlichte Dall-E 2 mit seinem atemberaubenden vinzentinischen Grafikeffekt für großes Aufsehen im Internet.

Als OpenAI jedoch noch versuchte, APIs zu verkaufen, tauchte plötzlich eine Open-Source-Alternative auf – Stable Diffusion.

Mit dem rasanten Aufstieg von Stable Diffusion geriet Dall-E 2 schnell in Vergessenheit bei den Entwicklern.

Das große Open-Source-Modell, wird es die großen Unternehmen im Silicon Valley untergraben?

Computerprofessor Ion Stoica von der UC Berkeley ist einer der Wissenschaftler, die Metas Forschung zur Entwicklung von Vicuna genutzt haben. Um die Fähigkeiten von Vicuna zu verbessern, arbeiten Stoica und Kollegen daran, die Anzahl der Berechnungen im Modell zu erhöhen, was bei Aufgaben mit Inferenz, wie etwa dem Schreiben von Code, hilfreich sein wird.

Vicuna wird von einem Berkeley-Team mit einem Jahresbudget von Millionen Dollar entwickelt, wovon etwa 500.000 US-Dollar von börsennotierten Unternehmen wie Microsoft, Google und Amazon stammen.

Der Computerprofessor der UC Berkeley, Ion Stoica, sagte, dass die Leistung der aktuellen kostenlosen KI-Modelle „ziemlich nahe“ an den proprietären Modellen von Google und OpenAI sei. Es besteht kein Zweifel daran, dass sich die meisten Entwickler letztendlich für die kostenlosen Modelle entscheiden werden.

Einerseits ermöglichen Open-Source-Modelle Entwicklern, ihre eigenen Daten zur Lösung spezifischer Probleme zu verwenden.

Andererseits können die Schulungskosten für ein Modell wie Vicuna sogar nur ein paar hundert Dollar betragen, und es besteht keine Notwendigkeit, teure Nutzungsgebühren an große Hersteller zu zahlen.

https://www.php.cn/link/4d8bd3f7351f4fee76ba17594f070ddd

Wenn Stoica Recht hat, wird Open-Source-KI definitiv Google, OpenAI, Microsoft usw. untergraben . Proprietäres Modell für Verkauf gebraucht Der Businessplan eines leistungsstarken Herstellers.

Die Qualität von Vicuna und die kambrische Explosion der Open-Source-KI veranlassten den Google-Ingenieur Luke Sernau, seine Kollegen zu warnen, dass Google sich bei seinen Bemühungen, mit OpenAI gleichzuziehen, zu sehr auf proprietäre Software konzentriert.

Wenn kostenlose, qualitativ hochwertige Alternativen keine Nutzungsbeschränkungen haben, wer zahlt dann für die Nutzung von Google-Produkten mit Einschränkungen? Open-Source-KI überholt uns, und Google sollte seine Führungsposition in der Open-Source-Community etablieren und einen Teil der Kontrolle über unsere Modelle abgeben.

Dieses Memo fand schnell Resonanz in der gesamten Branche – auch wenn Sernau die Möglichkeiten von Open-Source-KI möglicherweise überschätzt und ihre Kosten und Risiken unterschätzt hat, sind sich die meisten Praktiker darin einig, dass Meta sehr wahrscheinlich davon profitieren wird.

Meta verwendet beispielsweise intern KI-Modelle für Inhaltsempfehlungen und Anzeigenpositionierung. Wenn Entwickler die Modelle von Meta verbessern, kann Meta diese Verbesserungen in seine eigene interne KI integrieren.

Meta-CEO Xiao Zha hat das schon lange geplant.

Im April sagte er während einer Telefonkonferenz mit Analysten Folgendes zur Strategie des Unternehmens:

Wenn die Branche die von uns verwendeten grundlegenden Tools standardisieren kann, können wir noch besser davon profitieren die Verbesserungen anderer Leute.

Google verfolgt keinen vollständig proprietären Ansatz für KI-Software.

Im Jahr 2020 veröffentlichte Google T5, ein Open-Source-Sprachmodell, das es Entwicklern ermöglicht, Software zu erstellen, die Übersetzungs- und Zusammenfassungsaufgaben ausführen kann. Anschließend veröffentlichte Google einen weiterentwickelten Flan-T5.

Nach Angaben von Stoica und anderen Praktikern kann die von Meta veröffentlichte Software jedoch erhebliche Verbesserungen auf der Grundlage des Google-Modells bewirken, was die Möglichkeit für Entwickler, sich für das Meta-Modell zu entscheiden, erheblich erhöht.

Stoica sagte jedoch, dass Google bei Open-Source-Software immer noch zwei Vorteile habe.

1. Wenn Google seine Nutzerdaten nutzt, die nicht für die Außenwelt zugänglich sind, kann das Modell in bestimmten beruflichen Bereichen (z. B. Inhaltsempfehlung) besser abschneiden.

Ein Google-Sprecher sagte jedoch, dass das Unternehmen sein Basismodell nicht auf vorhandenen Nutzerdaten trainiert habe.

2. Die Expertise des Suchunternehmens in der Verwaltung großer Computerinfrastrukturen bedeutet, dass es Modelle zu geringeren Kosten betreiben kann, auch für Cloud-Kunden.

Gleichzeitig hat OpenAI bereits die Führung bei der Sammlung von Daten darüber übernommen, wie Millionen von Menschen mit ChatGPT interagieren, was OpenAI weiter bei der Verbesserung der KI-Software helfen wird, ganz zu schweigen von der Kooperationsvereinbarung mit Microsoft.

Ist der Wohlstand von Open Source eine „Wohltätigkeitsorganisation“ großer Hersteller?

Dieser auf Open Source basierende Wohlstand ist jedoch instabil.

Der Großteil des aktuellen Open Source basiert immer noch auf riesigen Modellen, die von großen Unternehmen mit starken Mitteln veröffentlicht werden. Wenn OpenAI und Meta beschließen, den Betrieb einzustellen, könnte die florierende Open-Source-Community deprimiert werden.

Zum Beispiel basieren viele Open-Source-Alternativen mittlerweile auf Metas LLaMA.

Während andere Modelle einen großen öffentlichen Datensatz namens Pile verwenden, der von der Open-Source-Nonprofit-Organisation EleutherAI zusammengestellt wurde.

EleutherAI existiert, weil die Offenheit von OpenAI bedeutet, dass eine Gruppe von Entwicklern die Herstellung von GPT-3 rückentwickeln und dann in ihrer Freizeit ihre eigenen Modelle erstellen kann.

Aber alles kann sich ändern.

OpenAI ist nicht mehr offen, und Meta erwägt auch, Open Source einzuschränken, um zu verhindern, dass Startups Open-Source-Code verwenden, um schlechte Dinge zu tun.

Joelle Pineau, Geschäftsführerin von Meta AI, sagte, dass es jetzt richtig sei, den Code für Außenstehende zu öffnen, aber er ist sich nicht sicher, ob Meta in den nächsten fünf Jahren dieselbe Strategie verfolgen wird.

Wenn dieser Close-Trend anhält, wird nicht nur die Open-Source-Community aufgegeben, sondern die nächste Generation von KI-Durchbrüchen wird auch in die Hände der größten und günstigsten KI-Labore zurückkehren.

Die Zukunft der Herstellung und Verwendung von KI-Großmodellen steht eindeutig am Scheideweg.

Wenn OpenAI geizig gewesen wäre, gäbe es heute keinen Open-Source-Wohlstand

Andere überlegen auch, ob dieser kostenlose Wettbewerb im Open-Source-Bereich größere Belohnungen oder größere Risiken mit sich bringt.

Gleichzeitig mit der Veröffentlichung von LLaMA durch Meta AI hat Hugging Face einen Gate-Kontrollmechanismus eingeführt, bevor Benutzer den Zugriff beantragen und eine Genehmigung einholen können. Dies dient dazu, diejenigen mit legitimen Gründen einzuschränken.

„Ich bin kein Open-Source-Evangelist“, sagte Margaret Mitchell, leitende Ethikwissenschaftlerin bei Hugging Face. „Ich verstehe, was es bedeutet, nicht Open Source zu sein.“

Ein Nachteil der weit verbreiteten Verwendung großer Modelle besteht darin, dass sie zur Verbreitung von KI-Pornoprodukten führen kann.

Mitchell arbeitete einst bei Google und gründete das KI-Ethikteam. Sie ist sich der Risiken des Modellmissbrauchs sehr bewusst. Daher bevorzugt sie die kontrollierte Veröffentlichung von Modellen durch Meta AI.

Gleichzeitig dreht OpenAI auch den Hahn zu. Als GPT-4 veröffentlicht wurde, wurden keine Details wie Architektur (einschließlich Modellgröße), Hardware, Trainingsberechnungen, Datensatzkonstruktion, Trainingsmethoden usw. bekannt gegeben. Der Grund dafür war „im Hinblick auf die Wettbewerbslandschaft und die Auswirkungen großer Sicherheitsmaßnahmen“. -Modelle wie GPT-4.

Diese Einschränkung spiegelt den Wandel in der Mentalität von OpenAI wider. Mitbegründer und Chefwissenschaftler Ilya Sutskever sagte, die Offenheit von OpenAI in der Vergangenheit sei ein Fehler gewesen.

Sandhini Agarwal, Politikforscher bei OpenAI, sagte: „Früher war es vielleicht einer kleinen Gruppe von Tüftlern wichtig, wenn etwas Open Source war. Aber jetzt hat sich die gesamte Umgebung verändert. Open Source kann die Entwicklung wirklich beschleunigen und dazu führen.“ Wettbewerb.“

Hätte sich OpenAI vor drei Jahren bei der Bekanntgabe der Details von GPT-3 an dieselben Grundsätze gehalten, hätte es kein EleutherAI und keine boomende Open-Source-Innovation gegeben.

Heute spielt EleutherAI eine zentrale Rolle im Open-Source-Ökosystem. Pile wird zum Trainieren mehrerer Open-Source-Projekte verwendet, darunter Stability AIs StableLM.

Aber mit der Sperrung von GPT-4, 5 und 6 könnte die Open-Source-Community erneut zurückbleiben Hinter mehreren großen Unternehmen.

Sie werden im Modell der vorherigen Generation stecken bleiben, und wenn sie Fortschritte machen wollen, können sie dies nur hinter verschlossenen Türen tun.

Das obige ist der detaillierte Inhalt vonEilmeldung: OpenAI steht kurz vor der Veröffentlichung eines neuen Modells! Hängt der Wohlstand der Open-Source-Community ausschließlich von der „Wohltätigkeit' großer Unternehmen ab?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!