WizardLM-2, das „sehr nah an GPT-4' ist, wurde von Microsoft dringend zurückgezogen. Was ist die Insider-Geschichte?

Vor einiger Zeit hat Microsoft einen eigenen Fehler begangen: Es hat WizardLM-2 großartig als Open-Source-Version bereitgestellt und es dann kurz darauf sauber zurückgezogen.

Aktuell verfügbare Release-Informationen für WizardLM-2, ein Open-Source-Großmodell, das „wirklich mit GPT-4 vergleichbar“ ist und eine verbesserte Leistung in komplexem Chat, Mehrsprachigkeit, Inferenz und Agentur bietet.

Die Serie umfasst drei Modelle: WizardLM-2 8x22B, WizardLM-2 70B und WizardLM-2 7B. Darunter:

• WizardLM-2 8x22B ist das fortschrittlichste Modell und das beste Open-Source-LLM basierend auf interner Bewertung für hochkomplexe Aufgaben.
• WizardLM-2 70B verfügt über Inferenzfunktionen auf höchstem Niveau und ist die erste Wahl in dieser Größenordnung;
• WizardLM-2 7B ist das schnellste Modell mit einer Leistung, die mit bestehenden führenden Open-Source-Modellen vergleichbar ist, die zehnmal größer sind.

Darüber hinaus liegen die Fähigkeiten von WizardLM-28x22B laut menschlicher Präferenzbewertung „nur geringfügig hinter der GPT-4-1106-Vorschau, aber deutlich stärker als CommandRPlus und GPT4-0314.“

Wird es ein weiterer Open-Source-Meilenstein wie LLaMa 3?

Während alle damit beschäftigt waren, das Modell herunterzuladen, zog das Team plötzlich alles zurück: Blog, GitHub, HuggingFace bekamen alle 404.

Bildquelle: https://wizardlm.github.io/WizardLM2/

Die Erklärung des Teams lautet:

Hallo an alle Huggingface-Freunde! Entschuldigung, wir haben das Modell entfernt. Es ist schon eine Weile her, dass wir ein Modell von vor ein paar Monaten veröffentlicht haben, daher sind wir mit dem neuen Veröffentlichungsprozess jetzt nicht vertraut: Wir haben versehentlich einen notwendigen Punkt im Modellfreigabeprozess ausgelassen – die Toxizitätsprüfung. Dies ist ein Schritt, den derzeit alle neuen Modelle absolvieren müssen.

Wir schließen diesen Test derzeit zügig ab und werden unser Modell so schnell wie möglich erneut veröffentlichen. Machen Sie sich keine Sorgen, vielen Dank für Ihre Sorge und Ihr Verständnis.

Aber die Aufmerksamkeit und Diskussion der KI-Community zu WizardLM-2 hat nicht aufgehört. Es gibt mehrere Zweifel:

Erstens handelt es sich bei den gelöschten Open-Source-Projekten nicht nur um WizardLM-2. Die gesamte Arbeit der Wizard-Serie ist verschwunden, einschließlich der vorherigen WizardMath und WizardCoder.

Zweitens fragten einige Leute, warum der Blog auch gelöscht wurde, als die Modellgewichte gelöscht wurden? Wenn nur der Testteil fehlt, besteht keine Notwendigkeit, ihn vollständig zurückzuziehen.

Die Erklärung des Teams lautet: „Gemäß den einschlägigen Vorschriften.“ Noch weiß es niemand.

Drittens gibt es auch Spekulationen, dass das Team hinter WizardLM gefeuert wurde und dass auch der Rückzug des Wizard-Serienprojekts erzwungen wurde.

Diese Spekulation wurde jedoch vom Team dementiert:

Quelle: https://x.com/_Mira___Mira_/status/1783716276944486751

Bildquelle: https ://x.com/DavidFSWD/status/1783682898786152470

Und jetzt suchen wir nach dem Namen des Autors, und er ist nicht vollständig von der offiziellen Website von Microsoft verschwunden:

Quelle: https://www .microsoft.com/en-us/research/people/qins/

Viertens spekulieren einige Leute, dass Microsoft dieses Open-Source-Modell zurückgezogen hat, erstens weil die Leistung zu nahe an GPT-4 liegt, und zweitens wegen der technischen Roadmap mit OpenAI „Crash“.

Was ist die konkrete Route? Wir können einen Blick auf die technischen Details der Original-Blogseite werfen.

Das Team gab an, dass durch LLM-Training die vom Menschen erzeugten Daten in der Natur zunehmend erschöpft werden und KI-sorgfältig erstellte Daten und KI-Schritt-für-Schritt-überwachte Modelle der einzige Weg zu einer leistungsfähigeren KI sein werden.

Im vergangenen Jahr hat das Microsoft-Team ein synthetisches Trainingssystem entwickelt, das vollständig auf künstlicher Intelligenz basiert, wie in der folgenden Abbildung dargestellt.

ist grob in mehrere Abschnitte unterteilt:

Datenvorverarbeitung:

1. Datenanalyse: Verwenden Sie diese Pipeline, um die Verteilung verschiedener Attribute der neuen Quelldaten zu erhalten. Es hilft, ein vorläufiges Verständnis der Daten zu haben.
2. Gewichtete Stichprobe: Die Verteilung der optimalen Trainingsdaten stimmt oft nicht mit der natürlichen Verteilung des menschlichen Chat-Korpus überein. Es ist notwendig, die Gewichtung jedes Attributs in den Trainingsdaten basierend auf experimentellen Erfahrungen anzupassen. Evol Lab:

Nach anfänglichen Modifikationen ermöglicht die neue Methode verschiedenen Agenten, automatisch hochwertige Anweisungen zu generieren. Evol-Antwort: Führen Sie das Modell dazu, Antworten mehrmals zu generieren und neu zu schreiben, was seine Logik, Korrektheit und Affinität verbessern kann.

1. AI Align AI (AAA):

Co-Teaching: Sammeln Sie WizardLM und verschiedene autorisierte Open-Source- und proprietäre Modelle auf dem neuesten Stand der Technik und lassen Sie sie dann gemeinsam unterrichten und jedes einzelne verbessern Sonstiges Zu den Lehrinhalten gehören Simulations-Chat, Qualitätsbewertungen, Verbesserungsvorschläge, Schließung von Kompetenzlücken und mehr.

Selbstlernen: WizardLM kann neue evolutionäre Trainingsdaten für überwachtes Lernen und Präferenzdaten für verstärkendes Lernen durch Aktivierungslernen generieren.

1. Lernen:

Überwachtes Lernen.

Phase – DPO: Um das Offline-Reinforcement-Learning effektiver durchzuführen, werden die Vorzugsdaten in verschiedene Fragmente aufgeteilt und das Modell Schritt für Schritt verbessert.

1. RLEIF: Verwendung einer Methode, die das Instruction Quality Reward Model (IRM) und das Process Supervision Reward Model (PRM) kombiniert, um eine präzisere Korrektheit beim Online-Reinforcement-Learning zu erreichen.
2. Das Letzte, was ich sagen möchte, ist, dass alle Spekulationen umsonst sind. Freuen wir uns auf das Comeback von WizardLM-2.

Das obige ist der detaillierte Inhalt vonWizardLM-2, das „sehr nah an GPT-4' ist, wurde von Microsoft dringend zurückgezogen. Was ist die Insider-Geschichte?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!