Am Donnerstag hat das amerikanische KI-Startup Inflection AI offiziell eine neue Generation des großen Sprachmodells Inflection-2.5 veröffentlicht.
Berichten zufolge wird Inflection-2.5 leistungsstarke LLM-Technologie und Inflections einzigartige „Empathie-Feinabstimmung“-Funktion kombinieren und die Eigenschaften eines hohen EQ und eines hohen IQ integrieren. Es kann sachliche Informationen über das Internet abrufen und seine Leistung ist mit führenden Großmodellen wie GPT-4 und Gemini vergleichbar.
Inflection-2.5 ist jetzt für alle Pi-Benutzer kostenlos auf PC-, iOS- und Android-Apps verfügbar. Nach einem einfachen Test von Heart of the Machine haben wir festgestellt, dass es im Vergleich zu GPT-4 immer noch eine gewisse Lücke gibt, aber einen Versuch ist es trotzdem wert. Interessierte Nutzer können es selbst erleben.
Link: https://pi.ai/talk
Es ist erwähnenswert, dass Inflection-2.5 eine Leistung nahe an GPT-4 erreicht, während der Trainingsprozess nur 40 % von GPT-4 nutzt Rechenleistung.
Inflection AI weist darauf hin, dass die neue Generation groß angelegter Modelle in Bereichen wie intelligenter Codierung und Mathematik erhebliche Fortschritte gemacht hat. Diese Fortschritte werden sich in konkreten Verbesserungen wichtiger Branchen-Benchmarks niederschlagen und sicherstellen, dass Pi weiterhin an der Spitze der Technologie bleibt. Darüber hinaus integriert Pi erstklassige Echtzeit-Websuchfunktionen, um sicherzustellen, dass Benutzer Zugriff auf hochwertige aktuelle Nachrichten und die neuesten Informationen haben.
Inflection-2,5 vs. GPT-4
Inflection-1 Der im Training verwendete FLOP beträgt etwa 4 % von GPT-4, und seine durchschnittliche Leistung bei verschiedenen „IQ-orientierten“ Aufgaben liegt bei etwa GPT-4 72 % des Niveaus. Jetzt erreicht Inflection-2.5 eine durchschnittliche Leistung von über 94 % von GPT-4, obwohl nur 40 % der FLOPs von GPT-4 für das Training verwendet werden. Wie in der folgenden Abbildung dargestellt, wurden bei der Leistung von Inflection-2.5 in allen Bereichen deutliche Verbesserungen erzielt, wobei die größten Fortschritte bei den Kenntnissen im MINT-Bereich erzielt wurden. Die Ergebnisse von
Inflection-2.5 bei zwei verschiedenen MINT-Prüfungen – Ungarische Mathematikprüfung und Physik-Absolventenprüfung (GRE) – sind wie folgt:
Wie in der Tabelle unten gezeigt, sind die Die Studie Inflection-2.5 wird auch anhand des MMLU-Benchmarks und des GPQA Diamond-Benchmarks bewertet. Der MMLU-Benchmark deckt 57 Disziplinen in den Bereichen MINT, Geisteswissenschaften, Sozialwissenschaften und mehr ab und testet effektiv die umfassenden Wissensfähigkeiten des LLM, während der GPQA Diamond-Benchmark ein äußerst schwieriger Benchmark auf Expertenebene ist.
Beim BIG-Bench-Hard-Benchmark verbessert Inflection-2.5 die Leistung um mehr als 10 % gegenüber Inflection-1 und ist mit GPT-4 vergleichbar. Der BIG-Bench-Hard-Benchmark deckt hauptsächlich Probleme ab, die mit großen Sprachmodellen schwer zu lösen sind.
Die Studie wurde auch auf dem MT-Bench Benchmark ausgewertet. Das Forschungsteam stellte jedoch fest, dass der Benchmark einen großen Teil (fast 25 %) der Beispielbeispiele in den Kategorien Argumentation, Mathematik und Codierung mit falschen Referenzlösungen oder fehlerhaften Prämissen aufwies. Daher hat die Studie diese Beispiele korrigiert und das Bewertungsexperiment erneut durchgeführt. Die Ergebnisse sind in der folgenden Tabelle aufgeführt:
Die Bewertungsergebnisse für GSM8k- und MATH-Benchmarks zeigen, dass Inflection-2.5 in Bezug auf Inflection besser ist der Mathematik- und Codierungsfunktionen -1 weist erhebliche Verbesserungen auf:
Um die Codierungsfunktionen von Inflection-2.5 weiter zu testen, führte die Studie Bewertungsexperimente mit zwei Codierungsbenchmarks, MBPP+ und HumanEval+, durch. Die Ergebnisse werden angezeigt in der folgenden Tabelle:
Das Forschungsteam evaluierte Inflection-2.5 auf HellaSwag und ARC-C sowie verschiedene Modelle zu gesundem Menschenverstand und wissenschaftlichen Benchmarks. Den folgenden Ergebnissen nach zu urteilen, erzielt Inflection-2.5 bei diesen Benchmarks eine starke Leistung.
Darüber hinaus wurden alle oben genannten Bewertungen mit Modellen durchgeführt, die jetzt Pi-fähig sind. Es ist jedoch auch wichtig zu beachten, dass die Benutzererfahrung aufgrund des Netzwerkabrufs (in den oben genannten Benchmarks wurde kein Netzwerkabruf verwendet), der Struktur von Wenig-Schuss-Eingabeaufforderungen und anderen Produktionsaspekten leicht variieren kann.
Im Allgemeinen behält Inflection-2.5 die „herzzentrierten“ Funktionen und extrem hohen Sicherheitsstandards von Pi bei und wird so zu einem umfassenderen und nützlicheren Modell.
In letzter Zeit ist der Technologiewettbewerb um große Sprachmodelle in eine harte Phase eingetreten. Unter vielen Technologieunternehmen sind Mistral AI (Mistral Large) und Anthropic (Claude 3) hervorzuheben. Auffallend ist, dass die vorgeschlagene neue Technologie Fähigkeiten erreicht, die denen von GPT-4 und Gemini Ultra nahe kommen. Inflection-2.5, das gestern erschien, scheint sich der ersten Staffel anzuschließen.
Als Star-Startup im Silicon Valley hat Inflection AI eine lange Geschichte. Es wurde 2022 gegründet. Seine drei Mitbegründer sind der ehemalige DeepMind-Mitbegründer Mustafa Suleyman, der LinkedIn-Mitbegründer Reid Hoffman und der ehemalige DeepMind-Chef leitende Wissenschaftlerin Karen Simonyan.
Im Juni letzten Jahres gab Inflection AI bekannt, dass es eine Finanzierung in Höhe von 1,3 Milliarden US-Dollar erhalten hat, angeführt von Microsoft, Nvidia, Reid Hoffman, Bill Gates und dem ehemaligen Google-CEO Eric Schmidt. Derzeit ist Inflection AI das viertgrößte generative KI-Startup der Welt.
Das obige ist der detaillierte Inhalt vonDas neue Modell, das OpenAI herausfordert, ist jetzt kostenlos verfügbar, wobei 40 % der Rechenleistung und Leistung GPT-4 nahe kommen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
