Fudan veröffentlicht chinesische Version von ChatGPT: MOSS beginnt mit Tests und stößt auf heiße Suchanfragen, die Server sind überfüllt

ChatGPT ist die fortschrittlichste KI und die beliebteste Anwendung – seit ihrer Veröffentlichung Ende November letzten Jahres haben ihre monatlichen aktiven Nutzer in zwei Monaten die 100-Millionen-Marke überschritten und stehen in der Nutzerwachstumsrate in der Geschichte problemlos an erster Stelle globales Internet.

Es ist auch eine Technologie mit einer hohen Schwelle. Aufgrund der großen Rechenressourcen und hohen Kennzeichnungskosten, die für den Trainingsprozess von ChatGPT erforderlich sind, sind in China derzeit keine ähnlichen Produkte für die Öffentlichkeit zugänglich. Große Internetunternehmen wie Baidu, Alibaba und JD.com haben alle die Nachricht veröffentlicht, dass sie „inländisches ChatGPT“ entwickeln und es in naher Zukunft veröffentlichen werden.

Bevor die Produkte der großen Hersteller auf den Markt kamen, hatte die akademische Gemeinschaft Neuigkeiten zuerst. Am Abend des 20. Februar veröffentlichte das Natural Language Processing Laboratory der Fudan-Universität MOSS, ein Sprachmodell mit ChatGPT-Funktionen, und lud die Öffentlichkeit zu internen Tests ein.

• MOSS-Erlebnislink: https://moss.fastnlp.top/
• MOSS-Projekthomepage: https://txsun1997.github.io/blogs/moss.html

Der Name MOSS stammt aus dem Film „The Wandering Earth“. So beliebt wie der Film, landeten die von MOSS veröffentlichten Nachrichten schnell ganz oben auf der heißen Suchliste auf Zhihu und anderen Plattformen.

Im Gegensatz zu Science-Fiction verfügt die reale KI jedoch noch nicht über den Segen von Quantencomputern. Aufgrund des übermäßigen Drucks auf sofortigen Zugriff ist der MOSS-Server noch nicht in Betrieb gestern Abend überwältigt, was zeigt, wie hoch die Erwartungen aller an generative Sprachmodelle sind.

Laut Forschern der Fudan-Universität befindet es sich derzeit in internen Tests und wird iterativ für die Benutzerinteraktion optimiert und ist nicht für öffentliche Tests geeignet.

Wir wissen, dass die Verarbeitung natürlicher Sprache eine der größten Herausforderungen im Bereich der KI ist, obwohl es bereits Durchbrüche gegeben hat, die in diesem Monat eingeführte neue Bing-Suche und das von Google veröffentlichte Konkurrenzprodukt BARD. wurden von Zeit zu Zeit getestet. Es stellen sich Fragen: Wie hoch ist das MOSS-Niveau der Fudan-Universität?

Sprich mit MOSS, wie ist dein Level?

Die Grundfunktionen von MOSS ähneln ChatGPT. Es kann verschiedene Aufgaben zur Verarbeitung natürlicher Sprache gemäß den vom Benutzer eingegebenen Anweisungen ausführen, einschließlich Textgenerierung, Textzusammenfassung, Übersetzung, Codegenerierung, Chatten usw. Während des Vorschauzeitraums ist die Nutzung von MOSS kostenlos.

MOSS ist derselbe wie ChatGPT: Der Konstruktionsprozess umfasst zwei Phasen: Training der Grundmodelle in natürlicher Sprache und Training der Dialogfähigkeit, um menschliche Absichten zu verstehen.

Der Hauptunterschied zwischen MOSS und ChatGPT ist laut Projekthomepage:

• MOSS hat viel weniger Parameter als ChatGPT.
• MOSS lernt, indem es mit Menschen und anderen KI-Modellen spricht, während ChatGPT durch Reinforcement Learning with Human Feedback (RLHF) trainiert wird.
• MOSS wird Open Source sein, um zukünftige Forschung zu erleichtern, ChatGPT jedoch wahrscheinlich nicht.

Wie gesprächig MOSS ist, schauen wir uns ein paar Beispiele an. Hier sind einige von MOSS generierte Interaktionsdatensätze:

In diesem Beispiel hat der Benutzer MOSS zunächst gebeten, fünf Science-Fiction-Filme zu empfehlen, dann hat er MOSS gebeten, eine Tabelle zu erstellen, um diese Filme und ihre Regisseure anzuzeigen, und schließlich hat er MOSS gebeten, eine neue Spalte einzufügen Tabelle zur Anzeige. Das Jahr, in dem diese Filme veröffentlicht wurden. Um diese Aufgabe zu erfüllen, muss das Sprachmodell über starke Fähigkeiten zur Mehrrundeninteraktion verfügen und MOSS weist in diesen beiden Aspekten offensichtlich eine gute Leistung auf.

Ähnlich wie ChatGPT gibt MOSS manchmal einige Beispiele für sachliche Fehler aus.

Neben mehreren Dialogrunden ist auch die Codegenerierung von MOSS ein Kinderspiel. Im folgenden Beispiel kann MOSS Benutzern nicht nur Python-Code zur Implementierung einer schnellen Sortierung zur Verfügung stellen, sondern auf Wunsch des Benutzers auch Erklärungen und Verwendungsbeispiele für diesen Code bereitstellen. Man kann sagen, dass es sich um einen Programmierer handelt, der Schritt für Schritt lehrt.

Sie können MOSS nicht nur um Hilfe beim Schreiben von Code bitten, sondern auch darum bitten MOSS Stellen Sie Fragen zu Codedetails, um den Code besser zu verstehen. Im folgenden Beispiel fragte der Benutzer MOSS nach der Programmiersprache und den Funktionen eines Codes und fragte weiter nach der Rolle einer der Funktionen. MOSS gab zufriedenstellende Antworten.

Darüber hinaus hat MOSS auch menschliche Werte Wenn vernünftige Fragen gestellt werden, wird MOSS diese beantworten und die richtige Überzeugungsarbeit leisten.

Es versteht sich, dass MOSS selbstentwickelte Technologie mit zig Milliarden verwendet Anzahl der Parameter Das Modell wird trainiert. Während der Trainingsphase der Dialogfähigkeit sammelte OpenAI mindestens Hunderttausende menschliche Anweisungen – so konnten professionelle Annotatoren aus verschiedenen Branchen Anweisungen schreiben und diese dann in die Modellbasis eingeben, um ChatGPT dabei zu helfen, verschiedene Anweisungen schrittweise zu verstehen. Das Fudan-Team wählte einen anderen technischen Weg, indem es MOSS ermöglichte, mit Menschen und anderen KI-Modellen zu interagieren, was die Lern- und Forschungs- und Entwicklungseffizienz erheblich verbesserte und das Training der Dialogfähigkeiten in kurzer Zeit effizient abschloss.

Das Forschungs- und Entwicklungsteam gab an, dass MOSS zwar einige Funktionen von ChatGPT implementiert hat, es jedoch aufgrund des Mangels an hochwertigen Daten, Rechenressourcen und Modellen immer noch viele Einschränkungen gibt Kapazität, MOSS Immer noch weit hinter ChatGPT.

• Aufgrund des begrenzten mehrsprachigen Korpus in den Trainingsdaten ist MOSS beim Verstehen und Generieren von Texten in anderen Sprachen als Englisch schlecht. Das Team entwickelt derzeit eine verbesserte Version, um ihre Chinesischkenntnisse zu verbessern.
• Aufgrund der relativ geringen Modellkapazität ist in MOSS nicht ausreichend Weltwissen enthalten. Daher können einige von MOSS generierte Antworten irreführende oder falsche Informationen enthalten.
• Manchmal macht MOSS Umwege oder befolgt sogar Anweisungen nicht. In diesem Fall muss der Benutzer die Eingabeaufforderung möglicherweise mehrmals neu generieren oder ändern, um eine zufriedenstellende Antwort zu erhalten. Das Team verbessert aktiv seine Fähigkeit, Anweisungen zu befolgen und seine Produktivität.
• Manchmal kann MOSS aufgrund von Aufforderungen unethische oder schädliche Reaktionen hervorrufen. Benutzer können helfen, dieses Verhalten zu reduzieren, indem sie auf „Gefällt mir nicht“ klicken. Das Team wird das Modell dann in der nächsten Version aktualisieren.

Das Forschungsteam wies darauf hin, dass die Leistung der aktuellen Version von MOSS immer noch instabil ist und auch von Datensatzproblemen betroffen ist: „Die englische Antwort.“ Das Niveau von MOSS ist höher als das von Chinesisch, da die Modellbasis mehr als 300 Milliarden englische Wörter und nur etwa 30 Milliarden chinesische Wörter gelernt hat. Bereitstellung einer zugänglichen Schnittstelle zu MOSS, um das Modell basierend auf wertvollem Benutzerfeedback (unter Lizenz) kontinuierlich zu verbessern ).

In Zukunft planen die Forscher auch, Fudans Forschungsergebnisse in der künstlichen Intelligenz und verwandten interdisziplinären Themen zu kombinieren, um MOSS multimodale Fähigkeiten wie Zeichnen, Sprache usw. zu verleihen Zusammensetzung und Stärkung seiner Fähigkeit, Wissenschaftler bei der Durchführung effizienter wissenschaftlicher Forschung usw. zu unterstützen.

Ich hoffe, dass MOSS einen guten Start für die Entwicklung großer inländischer Dialogmodelle schaffen kann.

Teamvorstellung

Es gibt zwei Hauptautoren von MOSS: Professor Qiu Xipeng von der Fudan-Universität und sein Doktorand Sun Tianxiang. Darüber hinaus haben mehrere Mitglieder zum Projekt beigetragen.

Qiu Xipeng, Professor an der School of Computer Science and Technology, Fudan Universität, Doktorvater. Als National Outstanding Young Scholar erhielt er seinen Bachelor of Science und seinen Doktortitel von der Fudan-Universität. Hauptsächlich in der Forschung in den Bereichen Verarbeitung natürlicher Sprache, Deep Learning und anderen Bereichen tätig, veröffentlichte mehr als 70 CCF-Artikel der Kategorie A/B und gewann den ACL 2017 Outstanding Paper Award (CCF Kategorie A) und den CCL 2019 Best Paper Award „Science in China“. : Technische Wissenschaften“ Beim High Impact Paper Award 2021 wurden 5 Artikel als die einflussreichsten Artikel von IJCAI/ACL/EMNLP ausgewählt, die von PaperDigest veröffentlicht wurden (die Anzahl der Zitate erreichte die Top 20 der aktuellen Konferenz). Veröffentlichung der Open-Source-Monographie „Neural Networks and Deep Learning“ mit 15.000 Github-Followern und einem Douban-Score von 9,4. Er leitete die Entwicklung der Open-Source-Frameworks FudanNLP und FastNLP, die von Hunderten von Einheiten im In- und Ausland genutzt wurden. Im Jahr 2015 wurde er in das erste Jugendtalentförderungsprojekt der China Association for Science and Technology aufgenommen. Im Jahr 2018 gewann er den ersten Preis des Youth Innovation Award des Qian Weichang Chinese Information Processing Science and Technology Award den Excellence Award beim 4. Shanghai University Young Teacher Teaching Competition. Im Jahr 2021 gewann er den ersten Preis des ersten Shanghai Computer Society Teaching Achievement Award (der erste, der ihn abgeschlossen hat) usw. Die Studierenden wurden darauf vorbereitet, mehrere akademische Stipendien der ersten Stufe, Microsoft Scholars, Baidu-Stipendien usw. zu gewinnen.

Sun Tianxiang ist Doktorand an der Fakultät für Informatik der Fudan-Universität. Seine Betreuer sind Professor Qiu Xipeng und Professor Huang Xuanjing. Abschluss an der Xi'an University of Electronic Science and Technology im Jahr 2019. Die Forschungsinteressen konzentrieren sich auf maschinelles Lernen und seine Anwendung in der Verarbeitung natürlicher Sprache, insbesondere auf die effiziente Feinabstimmung und Inferenz vorab trainierter Sprachmodelle, Multitasking-Lernen, Wissensrepräsentationslernen usw. Veröffentlichte mehrere Artikel als Erstautor auf Konferenzen wie ICML, ACL, NAACL, AAAI, COLING usw.

Das obige ist der detaillierte Inhalt vonFudan veröffentlicht chinesische Version von ChatGPT: MOSS beginnt mit Tests und stößt auf heiße Suchanfragen, die Server sind überfüllt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!