


Der CEO von OpenAI sagt: Die Ausweitung des Umfangs ist nicht der einzige Weg zum Fortschritt, und die Ära der riesigen KI-Modelle könnte zu Ende gehen
Neuigkeiten vom 18. April: Der Chatbot ChatGPT von OpenAI ist so leistungsstark, dass er großes Interesse und Investitionen in künstliche Intelligenz geweckt hat. Der CEO des Unternehmens, Sam Altman, glaubt jedoch, dass bestehende Forschungsstrategien gescheitert sind und zukünftige KI-Fortschritte neue Ideen erfordern.
In den letzten Jahren hat OpenAI eine Reihe beeindruckender Fortschritte bei der Sprachverarbeitung erzielt, indem bestehende Algorithmen für maschinelles Lernen auf bisher unvorstellbare Größenordnungen skaliert wurden. Sein jüngstes entwickeltes Projekt ist GPT-4, das nach eigenen Angaben mit Billionen von Textwörtern und Tausenden von leistungsstarken Computerchips trainiert wurde und mehr als 100 Millionen US-Dollar gekostet hat.
Allerdings sagte Altman, dass zukünftige Fortschritte in der KI nicht mehr davon abhängen werden, die Modelle zu vergrößern. „Ich denke, wir sind am Ende einer Ära“, sagte er auf einer MIT-Veranstaltung. „In dieser [scheidenden] Ära werden die Modelle immer größer. Jetzt werden wir sie auf andere Weise herstellen.“ besser.“
Altmans Kommentare stellen eine unerwartete Wende im Wettlauf um die Entwicklung und den Einsatz neuer KI-Algorithmen dar. Seit der Einführung von ChatGPT im November hat Microsoft die zugrunde liegende Technologie genutzt, um Chatbots zu seiner Bing-Suchmaschine hinzuzufügen, und Google hat einen Konkurrenten namens Bard gestartet. Viele Menschen möchten diesen neuen Chatbot unbedingt ausprobieren, um bei der Arbeit oder bei persönlichen Aufgaben zu helfen.
Gleichzeitig investieren viele gut finanzierte Startups, darunter Anthropic, AI21, Cohere und Character.AI, erhebliche Ressourcen in die Entwicklung größerer Algorithmen, um mit OpenAI gleichzuziehen. Die erste Version von ChatGPT basiert auf GPT-3, aber Benutzer haben jetzt auch Zugriff auf eine leistungsstärkere, von GPT-4 unterstützte Version.
Altmans Aussage impliziert auch, dass GPT-4 nach der Übernahme der Strategie, das Modell zu erweitern und mehr Daten für das Training bereitzustellen, möglicherweise die letzte große Errungenschaft von OpenAI ist. Er enthüllte jedoch keine Forschungsstrategien oder -techniken, die aktuelle Methoden ersetzen könnten. In einem Papier, das GPT-4 beschreibt, sagte OpenAI, seine Schätzungen zeigten sinkende Erträge aus der Skalierung von Modellen. Es gibt auch physische Grenzen hinsichtlich der Anzahl der Rechenzentren, die das Unternehmen bauen kann, und wie schnell es diese bauen kann, sagte Altman.
Cohere-Mitbegründer Nick Frosst, der bei Google an künstlicher Intelligenz arbeitete, sagte, Altman habe recht, als er sagte, dass „die kontinuierliche Vergrößerung der Modellgröße keine unbegrenzte Lösung ist.“ Er glaubt, dass maschinelle Lernmodelle für GPT-4 und andere Transformatortypen (Bearbeitungsgruppe: Transformatoren werden wörtlich als Konverter übersetzt, und GPT ist die Abkürzung für Generative Pre-Trained Transformers, was bedeutet, dass generative Pre-Training-Modelle auf Transformatoren basieren) Fortschritte machen Es geht nicht mehr nur um Skalierung.
Frost fügte hinzu: „Es gibt viele Möglichkeiten, Transformatoren besser und nützlicher zu machen, und viele davon erfordern nicht das Hinzufügen von Parametern zum Modell. Neue KI-Modelldesigns oder -Architekturen und weitere Anpassungen basierend auf menschlichem Feedback sind allesamt Richtungen.“ Das erforschen viele Forscher bereits.“
In der Sprachalgorithmusfamilie von OpenAI besteht das Design dieser Software aus der Art und Weise, wie Neuronen miteinander interagieren sollte einer bestimmten Textzeichenfolge folgen.
Im Jahr 2019 veröffentlichte OpenAI sein erstes Sprachmodell GPT-2. Er umfasst bis zu 1,5 Milliarden Parameter und ist ein Maß für die einstellbare Anzahl von Verbindungen zwischen Neuronen. Das ist eine sehr große Zahl, was zum Teil einer Entdeckung von OpenAI-Forschern zu verdanken ist, dass eine Skalierung das Modell kohärenter macht.
Im Jahr 2020 brachte OpenAI GPT-3 auf den Markt, den Nachfolger von GPT-2, einem größeren Modell mit bis zu 175 Milliarden Parametern. Die umfassende Fähigkeit von GPT-3, Gedichte, E-Mails und andere Texte zu generieren, hat andere Unternehmen und Forschungseinrichtungen zu der Annahme geführt, dass sie ihre eigenen KI-Modelle auf ähnliche oder sogar größere Maßstäbe als GPT-3 skalieren können.
Nachdem ChatGPT im November letzten Jahres debütierte, spekulierten Meme-Macher und Technologieexperten, dass es sich bei der Veröffentlichung von GPT-4 um ein komplexeres Modell mit mehr Parametern handeln wird. Als OpenAI jedoch schließlich sein neues KI-Modell ankündigte, verriet das Unternehmen nicht, wie groß es sein würde, vielleicht weil die Größe nicht mehr der einzige Faktor war, der zählte. Auf der MIT-Veranstaltung wurde Altman gefragt, ob die Kosten für die Ausbildung von GPT-4 100 Millionen US-Dollar betragen würden, und er antwortete: „Mehr als das.“
Obwohl OpenAI den Umfang und das Innenleben von GPT-4 geheim hält, ist es wahrscheinlich, dass es nicht mehr ausschließlich auf Skalierung zur Leistungsverbesserung setzt. Eine Möglichkeit besteht darin, dass das Unternehmen eine Methode namens „Reinforcement Learning mit menschlichem Feedback“ verwendet hat, um die Fähigkeiten von ChatGPT zu verbessern, einschließlich der Beurteilung der Qualität der Antworten des Modells durch Menschen, um es bei der Bereitstellung von Diensten zu unterstützen, die mit größerer Wahrscheinlichkeit als qualitativ hochwertige Antworten beurteilt werden .
Die außergewöhnlichen Fähigkeiten von GPT-4 haben viele Experten alarmiert und eine Debatte über das Potenzial der KI zur Umgestaltung der Wirtschaft ausgelöst sowie Bedenken, dass sie Desinformation verbreiten und Arbeitslosigkeit schaffen könnte. Eine Reihe von Unternehmern und KI-Experten haben kürzlich einen offenen Brief unterzeichnet, in dem sie ein sechsmonatiges Moratorium für die Entwicklung von Modellen fordern, die leistungsstärker als GPT-4 sind, darunter auch Elon Musk, CEO von Tesla.
Auf der MIT-Veranstaltung bestätigte Altman, dass sein Unternehmen derzeit kein GPT-5 entwickelt. Er fügte hinzu: „In einer früheren Version dieses offenen Briefes wurde behauptet, dass OpenAI GPT-5 trainiere. Tatsächlich tun wir dies nicht und werden es auch nicht kurzfristig tun.“
Das obige ist der detaillierte Inhalt vonDer CEO von OpenAI sagt: Die Ausweitung des Umfangs ist nicht der einzige Weg zum Fortschritt, und die Ära der riesigen KI-Modelle könnte zu Ende gehen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen



Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

OpenAI kündigte kürzlich die Einführung seines Einbettungsmodells embeddingv3 der neuesten Generation an, das seiner Meinung nach das leistungsstärkste Einbettungsmodell mit höherer Mehrsprachenleistung ist. Diese Reihe von Modellen ist in zwei Typen unterteilt: das kleinere Text-Embeddings-3-Small und das leistungsfähigere und größere Text-Embeddings-3-Large. Es werden nur wenige Informationen darüber offengelegt, wie diese Modelle entworfen und trainiert werden, und auf die Modelle kann nur über kostenpflichtige APIs zugegriffen werden. Es gab also viele Open-Source-Einbettungsmodelle. Aber wie schneiden diese Open-Source-Modelle im Vergleich zum Closed-Source-Modell von OpenAI ab? In diesem Artikel wird die Leistung dieser neuen Modelle empirisch mit Open-Source-Modellen verglichen. Wir planen, Daten zu erstellen

Im Jahr 2023 ist die KI-Technologie zu einem heißen Thema geworden und hat enorme Auswirkungen auf verschiedene Branchen, insbesondere im Programmierbereich. Die Bedeutung der KI-Technologie wird den Menschen zunehmend bewusst, und die Spring-Community bildet da keine Ausnahme. Mit der kontinuierlichen Weiterentwicklung der GenAI-Technologie (General Artificial Intelligence) ist es entscheidend und dringend geworden, die Erstellung von Anwendungen mit KI-Funktionen zu vereinfachen. Vor diesem Hintergrund entstand „SpringAI“ mit dem Ziel, den Prozess der Entwicklung von KI-Funktionsanwendungen zu vereinfachen, ihn einfach und intuitiv zu gestalten und unnötige Komplexität zu vermeiden. Durch „SpringAI“ können Entwickler einfacher Anwendungen mit KI-Funktionen erstellen, wodurch diese einfacher zu verwenden und zu bedienen sind.

Der humanoide Roboter Ameca wurde auf die zweite Generation aufgerüstet! Kürzlich erschien auf der World Mobile Communications Conference MWC2024 erneut der weltweit fortschrittlichste Roboter Ameca. Rund um den Veranstaltungsort lockte Ameca zahlreiche Zuschauer an. Mit dem Segen von GPT-4 kann Ameca in Echtzeit auf verschiedene Probleme reagieren. „Lass uns tanzen.“ Auf die Frage, ob sie Gefühle habe, antwortete Ameca mit einer Reihe von Gesichtsausdrücken, die sehr lebensecht aussahen. Erst vor wenigen Tagen stellte EngineeredArts, das britische Robotikunternehmen hinter Ameca, die neuesten Entwicklungsergebnisse des Teams vor. Im Video verfügt der Roboter Ameca über visuelle Fähigkeiten und kann den gesamten Raum und bestimmte Objekte sehen und beschreiben. Das Erstaunlichste ist, dass sie es auch kann

Zu Llama3 wurden neue Testergebnisse veröffentlicht – die große Modellbewertungs-Community LMSYS veröffentlichte eine große Modell-Rangliste, die Llama3 auf dem fünften Platz belegte und mit GPT-4 den ersten Platz in der englischen Kategorie belegte. Das Bild unterscheidet sich von anderen Benchmarks. Diese Liste basiert auf Einzelkämpfen zwischen Modellen, und die Bewerter aus dem gesamten Netzwerk machen ihre eigenen Vorschläge und Bewertungen. Am Ende belegte Llama3 den fünften Platz auf der Liste, gefolgt von drei verschiedenen Versionen von GPT-4 und Claude3 Super Cup Opus. In der englischen Einzelliste überholte Llama3 Claude und punktgleich mit GPT-4. Über dieses Ergebnis war Metas Chefwissenschaftler LeCun sehr erfreut und leitete den Tweet weiter

Autor丨Zusammengestellt von TimAnderson丨Produziert von Noah|51CTO Technology Stack (WeChat-ID: blog51cto) Das Zed-Editor-Projekt befindet sich noch in der Vorabversionsphase und wurde unter AGPL-, GPL- und Apache-Lizenzen als Open Source bereitgestellt. Der Editor zeichnet sich durch hohe Leistung und mehrere KI-gestützte Optionen aus, ist jedoch derzeit nur auf der Mac-Plattform verfügbar. Nathan Sobo erklärte in einem Beitrag, dass in der Codebasis des Zed-Projekts auf GitHub der Editor-Teil unter der GPL lizenziert ist, die serverseitigen Komponenten unter der AGPL lizenziert sind und der GPUI-Teil (GPU Accelerated User) die Schnittstelle übernimmt Apache2.0-Lizenz. GPUI ist ein vom Zed-Team entwickeltes Produkt

Wenn die Antwort des KI-Modells überhaupt unverständlich ist, würden Sie es wagen, sie zu verwenden? Da maschinelle Lernsysteme in immer wichtigeren Bereichen eingesetzt werden, wird es immer wichtiger zu zeigen, warum wir ihren Ergebnissen vertrauen können und wann wir ihnen nicht vertrauen sollten. Eine Möglichkeit, Vertrauen in die Ausgabe eines komplexen Systems zu gewinnen, besteht darin, vom System zu verlangen, dass es eine Interpretation seiner Ausgabe erstellt, die für einen Menschen oder ein anderes vertrauenswürdiges System lesbar ist, d. h. so vollständig verständlich, dass mögliche Fehler erkannt werden können gefunden. Um beispielsweise Vertrauen in das Justizsystem aufzubauen, verlangen wir von den Gerichten, dass sie klare und lesbare schriftliche Stellungnahmen abgeben, die ihre Entscheidungen erläutern und stützen. Für große Sprachmodelle können wir auch einen ähnlichen Ansatz verfolgen. Stellen Sie bei diesem Ansatz jedoch sicher, dass das Sprachmodell generiert wird

Die Lautstärke ist verrückt, die Lautstärke ist verrückt und das große Modell hat sich wieder verändert. Gerade eben wechselte das leistungsstärkste KI-Modell der Welt über Nacht den Besitzer und GPT-4 wurde vom Altar genommen. Anthropic hat die neueste Claude3-Modellreihe veröffentlicht. Eine Satzbewertung: Sie zerschmettert GPT-4 wirklich! In Bezug auf multimodale Indikatoren und Sprachfähigkeitsindikatoren gewinnt Claude3. In den Worten von Anthropic haben die Modelle der Claude3-Serie neue Branchenmaßstäbe in den Bereichen Argumentation, Mathematik, Codierung, Mehrsprachenverständnis und Vision gesetzt! Anthropic ist ein Startup-Unternehmen, das von Mitarbeitern gegründet wurde, die aufgrund unterschiedlicher Sicherheitskonzepte von OpenAI „abgelaufen“ sind. Ihre Produkte haben OpenAI immer wieder hart getroffen. Dieses Mal musste sich Claude3 sogar einer großen Operation unterziehen.
