Inhaltsverzeichnis
In dieser Studie wurden Sprachverständnisaufgaben anhand mehrerer Datensätze bewertet, darunter PIQA, Hellaswag, OpenbookQA, SQUAD und MMLU. Die Bewertungsergebnisse sind in Tabelle 3 aufgeführt. Die Leistung von phi-1.5 ist mit der eines fünfmal größeren Modells vergleichbar. Die Testergebnisse zum Common Sense Reasoning-Benchmark sind in der folgenden Tabelle aufgeführt:
Frage und Diskussion
Heim Technologie-Peripheriegeräte KI Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene

Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene

Sep 18, 2023 am 09:09 AM
数据 模型

Als große Modelle eine neue Runde der KI-Begeisterung auslösten, begannen die Menschen zu denken: Woher kommt die leistungsstarke Fähigkeit großer Modelle?

Derzeit werden große Modelle durch die immer größer werdende Menge an „Big Data“ vorangetrieben. „Big Model + Big Data“ scheint zum Standardparadigma für die Modellbildung geworden zu sein. Da jedoch die Modellgröße und das Datenvolumen weiter wachsen, wird der Bedarf an Rechenleistung rapide steigen. Einige Forscher versuchen, neue Ideen zu erforschen. Umgeschriebener Inhalt: Derzeit werden groß angelegte Modelle durch immer größere Mengen an „Big Data“ angetrieben. „Großes Modell + Big Data“ scheint zum Standardparadigma für die Modellbildung geworden zu sein. Da jedoch die Modellgröße und das Datenvolumen weiter wachsen, werden die Anforderungen an die Rechenleistung rapide steigen. Einige Forscher versuchen, neue Ideen zu erforschen

Microsoft hat im Juni einen Artikel mit dem Titel „Just Textbooks“ veröffentlicht, in dem ein Datensatz mit nur 7B Labels verwendet wird, um einen Datensatz mit 1,3B Parametern zu trainieren. Das Modell heißt Phi-1. Obwohl phi-1 über Datensätze und Modellgrößen verfügt, die um Größenordnungen kleiner sind als die der Konkurrenz, erreicht es beim ersten Mal eine Erfolgsquote von 50,6 % im HumanEval-Test und 55,5 % im MBPP-Test. phi-1 Das beweist, dass es hoch ist Hochwertige „kleine Daten“ können dem Modell eine gute Leistung verleihen. Kürzlich veröffentlichte Microsoft einen Artikel mit dem Titel „Textbooks Are All You Need II: phi-1.5 Technical Report“, um das Potenzial hochwertiger „Small Data“ weiter zu untersuchen.

Papieradresse: https://arxiv.org/abs/2309.05463Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene

Modelleinführung

Architektur

Das Forschungsteam verwendete Methode von Phi-1, und um die Forschung auf Aufgaben des gesunden Menschenverstandes in natürlicher Sprache zu konzentrieren, wurde ein Transformer-Architektur-Sprachmodell phi-1.5 mit 1.3B-Parametern entwickelt. Die Architektur von Phi-1.5 ist genau die gleiche wie Phi-1, mit 24 Schichten, 32 Köpfen, jeder Kopf hat eine Dimension von 64 und verwendet eine Rotationseinbettung mit einer Rotationsdimension von 32 und einer Kontextlänge von 2048

Darüber hinaus wird in der Studie auch Flash-Aufmerksamkeit verwendet, um das Training zu beschleunigen, und der Tokenizer von Codegen-Mono wird verwendet.

Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf LehrbuchebeneDer Inhalt, der neu geschrieben werden muss, ist: Die Trainingsdaten.

Der Inhalt, der neu geschrieben werden muss, ist: Die Trainingsdaten stammen von phi-1. Der Inhalt, der neu geschrieben werden muss, ist : Bestehend aus Trainingsdaten (7 Milliarden Token) und neu erstellten Daten in „Lehrbuchqualität“ (ca. 20 Milliarden Token). Darunter sind die neu erstellten Daten in „Lehrbuchqualität“, die es dem Modell ermöglichen sollen, vernünftiges Denken zu beherrschen, und das Forschungsteam hat sorgfältig 20.000 Themen ausgewählt, um neue Daten zu generieren.

Es ist erwähnenswert, dass diese Studie zur Untersuchung der Bedeutung von Netzwerkdaten (die häufig in LLM verwendet werden) auch zwei Modelle erstellt hat: phi-1.5-web-only und phi-1.5-web.

Das Forschungsteam stellte fest: Die Erstellung eines leistungsstarken und umfassenden Datensatzes erfordert nicht nur reine Rechenleistung, sondern auch komplexe Iteration, effektive Themenauswahl und ein tiefgreifendes Wissensverständnis. Nur mit diesen Elementen kann die Qualität der Daten erreicht werden gewährleistet.

Experimentelle Ergebnisse

In dieser Studie wurden Sprachverständnisaufgaben anhand mehrerer Datensätze bewertet, darunter PIQA, Hellaswag, OpenbookQA, SQUAD und MMLU. Die Bewertungsergebnisse sind in Tabelle 3 aufgeführt. Die Leistung von phi-1.5 ist mit der eines fünfmal größeren Modells vergleichbar. Die Testergebnisse zum Common Sense Reasoning-Benchmark sind in der folgenden Tabelle aufgeführt:

In Bei komplexeren Denkaufgaben wie Grundschulmathematik und grundlegenden Programmieraufgaben übertrifft Phi-1.5 die meisten LLMs . Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene

Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene

Frage und Diskussion

Vielleicht weil das Konzept von „großem Modell + Big Data“ zu tief in den Herzen der Menschen verwurzelt ist, wurde diese Forschung von einigen Forschern in der Community des maschinellen Lernens in Frage gestellt, und Einige vermuten sogar, dass Phi-1,5 direkt in Trained im Test-Benchmark-Datensatz verwendet wird.

Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene

Netizen Susan Zhang führte eine Reihe von Überprüfungen durch und wies darauf hin: „phi-1.5 kann völlig korrekte Antworten auf die ursprünglichen Fragen im GSM8K-Datensatz geben, aber solange das Format leicht geändert wird (z. B Zeilenumbrüche), Phi -1,5 wird nicht antworten. Wenn beispielsweise bei einem Lebensmittelbestellungsproblem nur der „Preis für Pizza“ geändert wird, ist die Phi-1,5-Antwort falsch.

Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene


Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene

Außerdem scheint sich Phi-1.5 an die endgültige Antwort zu „merken“, auch wenn die Antwort bereits falsch ist, wenn die Daten geändert werden.

Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene


Als Antwort antwortete Ronan Eldan, ein Autor des Papiers, schnell, um die Probleme zu erklären und zu widerlegen, die im oben genannten Netizen-Test aufgetreten sind:

Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene

Aber der Netizen hat noch einmal klargestellt Sein Standpunkt: Der Test zeigte, dass die Antwort von phi-1.5 auf das Eingabeaufforderungsformat sehr „fragil“ ist, und stellte die Antwort des Autors in Frage:

Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene

Li Yuanzhi, der Erstautor des Papiers, antwortete: „ Obwohl Phi-1,5 in Bezug auf die Leistung tatsächlich schlechter ist als GPT-4, ist „fragil“ kein zutreffender Begriff. Tatsächlich ist die Genauigkeit von pass@k für jedes Modell viel höher als die von pass@1 (die Richtigkeit des Modells ist also zufällig)

Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene

Nachdem die Internetnutzer diese Fragen und Diskussionen gesehen hatten, äußerten sie: „Der einfachste Weg zu antworten besteht darin, den synthetischen Datensatz zu veröffentlichen.“ ”

Das superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene

Was denkst du darüber?

Das obige ist der detaillierte Inhalt vonDas superleistungsfähige kleine Modell von Microsoft löst hitzige Diskussionen aus: Entdecken Sie die große Rolle von Daten auf Lehrbuchebene. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

Video Face Swap

Video Face Swap

Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung! Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung! Apr 03, 2024 pm 12:04 PM

0.Was bewirkt dieser Artikel? Wir schlagen DepthFM vor: ein vielseitiges und schnelles generatives monokulares Tiefenschätzungsmodell auf dem neuesten Stand der Technik. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie dem Tiefen-Inpainting. DepthFM ist effizient und kann Tiefenkarten innerhalb weniger Inferenzschritte synthetisieren. Lassen Sie uns diese Arbeit gemeinsam lesen ~ 1. Titel der Papierinformationen: DepthFM: FastMonocularDepthEstimationwithFlowMatching Autor: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo May 07, 2024 pm 04:13 PM

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao Apr 09, 2024 am 11:52 AM

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

Langsame Internetgeschwindigkeiten für Mobilfunkdaten auf dem iPhone: Korrekturen Langsame Internetgeschwindigkeiten für Mobilfunkdaten auf dem iPhone: Korrekturen May 03, 2024 pm 09:01 PM

Stehen Sie vor einer Verzögerung oder einer langsamen mobilen Datenverbindung auf dem iPhone? Normalerweise hängt die Stärke des Mobilfunk-Internets auf Ihrem Telefon von mehreren Faktoren ab, wie z. B. der Region, dem Mobilfunknetztyp, dem Roaming-Typ usw. Es gibt einige Dinge, die Sie tun können, um eine schnellere und zuverlässigere Mobilfunk-Internetverbindung zu erhalten. Fix 1 – Neustart des iPhone erzwingen Manchmal werden durch einen erzwungenen Neustart Ihres Geräts viele Dinge zurückgesetzt, einschließlich der Mobilfunkverbindung. Schritt 1 – Drücken Sie einfach einmal die Lauter-Taste und lassen Sie sie los. Drücken Sie anschließend die Leiser-Taste und lassen Sie sie wieder los. Schritt 2 – Der nächste Teil des Prozesses besteht darin, die Taste auf der rechten Seite gedrückt zu halten. Lassen Sie das iPhone den Neustart abschließen. Aktivieren Sie Mobilfunkdaten und überprüfen Sie die Netzwerkgeschwindigkeit. Überprüfen Sie es erneut. Fix 2 – Datenmodus ändern 5G bietet zwar bessere Netzwerkgeschwindigkeiten, funktioniert jedoch besser, wenn das Signal schwächer ist

KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert Jun 01, 2024 pm 10:03 PM

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera Apr 26, 2024 am 11:37 AM

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren

Die Vitalität der Superintelligenz erwacht! Aber mit der Einführung der sich selbst aktualisierenden KI müssen sich Mütter keine Sorgen mehr über Datenengpässe machen Die Vitalität der Superintelligenz erwacht! Aber mit der Einführung der sich selbst aktualisierenden KI müssen sich Mütter keine Sorgen mehr über Datenengpässe machen Apr 29, 2024 pm 06:55 PM

Ich weine zu Tode. Die Daten im Internet reichen überhaupt nicht aus. Das Trainingsmodell sieht aus wie „Die Tribute von Panem“, und KI-Forscher auf der ganzen Welt machen sich Gedanken darüber, wie sie diese datenhungrigen Esser ernähren sollen. Dieses Problem tritt insbesondere bei multimodalen Aufgaben auf. Zu einer Zeit, als sie ratlos waren, nutzte ein Start-up-Team der Abteilung der Renmin-Universität von China sein eigenes neues Modell, um als erstes in China einen „modellgenerierten Datenfeed selbst“ in die Realität umzusetzen. Darüber hinaus handelt es sich um einen zweigleisigen Ansatz auf der Verständnisseite und der Generierungsseite. Beide Seiten können hochwertige, multimodale neue Daten generieren und Datenrückmeldungen an das Modell selbst liefern. Was ist ein Modell? Awaker 1.0, ein großes multimodales Modell, das gerade im Zhongguancun-Forum erschienen ist. Wer ist das Team? Sophon-Motor. Gegründet von Gao Yizhao, einem Doktoranden an der Hillhouse School of Artificial Intelligence der Renmin University.

See all articles