Benutzen Sie ChatGPT weniger und unterstützen Sie mehr Open Source! Nature, Professor an der New York University, schreibt: „Für die Zukunft der Wissenschaft.'

Die Verwendung des kostenlosen ChatGPT macht sehr viel Spaß, aber der größte Nachteil dieses Closed-Source-Sprachmodells besteht darin, dass es nicht Open Source ist. Die Außenwelt kann die dahinter stehenden Trainingsdaten nicht verstehen und nicht, ob dadurch die Privatsphäre der Benutzer verloren geht löste auch spätere Probleme in der Branche aus. Die akademische Gemeinschaft hat gemeinsam eine Reihe von Alpaka-Modellen wie LLaMA als Open Source bereitgestellt.

Kürzlich veröffentlichte die Kolumne „Nature Worldview“ einen Artikel, in dem jeder aufgefordert wurde, mehr Open-Source-Modelle zu verwenden. Experimentelle Ergebnisse sind reproduzierbar und stehen im Einklang mit der akademischen Ethik .

Der Punkt ist, wenn OpenAI eines Tages unzufrieden wird und die Sprachmodellschnittstelle schließt oder wenn es sich auf ein geschlossenes Monopol verlässt, um die Preise zu erhöhen, dann können Benutzer nur hilflos sagen: „Schließlich hat die Wissenschaft gegen das Kapital verloren.“ ." .

Der Autor des Artikels, Arthur Spirling, wird im Juli dieses Jahres an die Princeton University gehen, um Politikwissenschaft zu unterrichten. Seine Forschungsschwerpunkte sind politische Methodologie und gesetzgeberisches Verhalten, insbesondere Text-als-Daten und Naturwissenschaften Sprachverarbeitung, Bayes'sche Statistik, maschinelles Lernen, Item-Response-Theorie und verallgemeinerte lineare Modelle mit Anwendungen in der Politikwissenschaft.

Forscher sollten der Versuchung kommerzieller Modelle widerstehen und gemeinsam transparente Sprachmodelle im großen Maßstab entwickeln, um die Reproduzierbarkeit sicherzustellen.

Umarmen Sie Open Source und lehnen Sie das Monopol ab

Es scheint, als würde jeden Tag ein neues Large Language Model (LLM) eingeführt, und jedes Mal sprechen seine Schöpfer und verwandte Personen in der Wissenschaft großzügig darüber, wie das neue Modell fließend mit Menschen kommunizieren kann. Sie können beispielsweise Benutzern helfen, Codes zu ändern, Empfehlungsschreiben zu schreiben, Zusammenfassungen für Artikel zu schreiben usw.

Als Politik- und Datenwissenschaftler, der diese Modelle verwendet und lehrt, wie man sie verwendet, denke ich, dass Akademiker vorsichtig sein sollten, da die beliebtesten Sprachmodelle derzeit privat und geschlossen bleiben, d. h. von Unternehmen betrieben werden und keine spezifischen Informationen offenlegen über das Basismodell und wird die Fähigkeiten des Modells nur unabhängig überprüfen oder verifizieren, sodass Forscher und die Öffentlichkeit nicht wissen, welche Dateien zum Trainieren des Modells verwendet wurden.

Die Eile, Sprachmodelle in den eigenen Forschungsprozess zu integrieren, kann Probleme verursachen und den hart erkämpften Fortschritt in der „Forschungsethik“ und der „Reproduzierbarkeit der Ergebnisse“ gefährden.

Wir können uns nicht nur nicht auf kommerzielle Modelle verlassen, sondern Forscher müssen auch zusammenarbeiten, um Open-Source-Sprachmodelle in großem Maßstab zu entwickeln, die transparent und nicht von den Interessen eines bestimmten Unternehmens abhängig sind.

Obwohl kommerzielle Modelle sehr praktisch sind und sofort verwendet werden können, ist die Investition in Open-Source-Sprachmodelle ein historischer Trend. Wir müssen nicht nur Wege finden, um die Entwicklung voranzutreiben, sondern die Modelle auch auf zukünftige Forschungen anwenden.

Ich schätze optimistisch, dass die Zukunft von Sprachmodell-Tools Open Source sein muss, ähnlich wie in der Entwicklungsgeschichte von Open-Source-Statistiksoftware. Kommerzielle Statistiksoftware war anfangs sehr beliebt, aber mittlerweile verwenden im Grunde alle Communities Open-Source-Software wie R oder Python-Plattform.

Das Open-Source-Sprachmodell BLOOM wurde beispielsweise im Juli letzten Jahres veröffentlicht. Sein Entwicklungsteam Hugging Face ist ein Unternehmen für künstliche Intelligenz mit Hauptsitz in New York, das mit mehr als tausend Freiwilligen und Forschern zusammengearbeitet hat Ein Teil der Forschungs- und Entwicklungsgelder wurde von der französischen Regierung finanziert. Andere Teams arbeiten ebenfalls an Open-Source-Modellen für große Sprachen.

Ich finde Open-Source-Projekte wie dieses großartig, aber wir brauchen auch mehr Zusammenarbeit und die Bündelung internationaler Ressourcen und Expertise.

Open-Source-Teams für große Sprachmodelle sind normalerweise nicht so gut finanziert wie große Unternehmen, und das Entwicklungsteam muss auch den Betrieb fortsetzen, um die neuesten Fortschritte auf diesem Gebiet zu verfolgen: Die Entwicklung des KI-Bereichs ist zu schnell, und selbst die meisten Sprachmodelle sind Wochen oder Monate nach dem Start veraltet.

Je mehr Wissenschaftler sich also mit Open Source befassen, desto besser wird das endgültige Open-Source-Modell sein.

Der Einsatz von Open-Source-LLM ist für die „reproduzierbare Forschung“ von entscheidender Bedeutung, da Besitzer geschlossener kommerzieller Sprachmodelle ihre Produkte oder ihre Trainingsdaten jederzeit ändern können, was die Ergebnisse des Modells verändern kann.

Zum Beispiel könnte eine Forschungsgruppe eine Arbeit veröffentlichen, in der geprüft wird, ob die von einem kommerziellen Sprachmodell vorgeschlagene Formulierung dazu beitragen kann, dass Ärzte effektiver mit Patienten kommunizieren. Wer weiß, ob das der Fall ist? Sind die grundlegenden Trainingsdaten des Modells dieselben wie damals? Auch ob das Modell noch betriebsbereit ist, ist unbekannt.

Das von Forschern häufig verwendete Hilfstool GPT-3 wurde durch GPT-4 ersetzt. Alle auf der GPT-3-Schnittstelle basierenden Forschungen werden wahrscheinlich nicht möglich sein Für das Unternehmen hat die Aufrechterhaltung des alten Modells keine hohe Priorität.

Im Gegensatz dazu können Forscher mithilfe von Open-Source-LLM die interne Architektur des Modells und die Gewichtungen anzeigen, verstehen, wie das Modell funktioniert, den Code anpassen und auf Fehler hinweisen. usw. Zu den Details gehören die einstellbaren Parameter des Modells und die zum Trainieren des Modells verwendeten Daten. Die Einbindung und Aufsicht der Community wird dazu beitragen, dieses Modell langfristig robust zu halten.

Die Verwendung kommerzieller Sprachmodelle in der wissenschaftlichen Forschung hat auch negative Auswirkungen auf die Forschungsethik, da der Text, der zum Trainieren dieser Modelle verwendet wird, unbekannt ist und möglicherweise direkte Nachrichten über soziale Medien enthält Benutzer auf der Plattform oder von Kindern verfasste Inhalte.

Während die Person, die den öffentlichen Text erstellt, möglicherweise den Nutzungsbedingungen der Plattform zugestimmt hat, entspricht dies möglicherweise nicht dem Standard der Einwilligung nach Aufklärung, den Forscher sehen möchten.

Meiner Meinung nach sollten Wissenschaftler so weit wie möglich davon Abstand nehmen, diese Modelle in ihrer Arbeit zu verwenden. Wir sollten zu offenen Sprachmodellen übergehen und sie anderen bekannt machen.

Außerdem glaube ich nicht, dass Akademiker, insbesondere diejenigen mit großer Fangemeinde in den sozialen Medien, andere dazu drängen sollten, kommerzielle Modelle zu nutzen, wenn die Preise in die Höhe schnellen oder Unternehmen ihre Geschäfte aufgeben , könnten Forscher es bereuen, die Technologie an Kollegen weitergegeben zu haben.

Forscher können derzeit auf offene Sprachmodelle zurückgreifen, die von privaten Organisationen wie LLaMA erstellt wurden, einem Open-Source-Modell der Facebook-Muttergesellschaft Meta, das ursprünglich auf Benutzeranwendungen und -bewertungen basierte . Die Vollversion des Modells wurde jedoch später online durchgesickert; Metas offenes Sprachmodell OPT-175 kann auch von der Wohltätigkeit der Unternehmen abhängig gemacht werden, was eine prekäre Situation darstellt.

Darüber hinaus sollte es einen akademischen Verhaltenskodex für die Zusammenarbeit mit Sprachmodellen sowie entsprechende Regulierungsmaßnahmen geben, aber diese werden meiner Meinung nach Zeit brauchen ein Politikwissenschaftler Aufgrund meiner Familienerfahrung gehe ich davon aus, dass diese Regelungen zunächst sehr unvollkommen sein werden und nur langsam in Kraft treten werden.

Gleichzeitig wird dringend Unterstützung für groß angelegte Verbundprojekte zum Trainieren von Open-Source-Sprachmodellen für die Forschung benötigt, ähnlich denen am CERN, dem Internationalen Forschungszentrum für Teilchenphysik Für Physik-Organisationen sollten Regierungen die Finanzierung durch Zuschüsse erhöhen.

Der Bereich entwickelt sich rasant weiter und die Koordinierung der nationalen und internationalen Unterstützung muss jetzt beginnen. Die wissenschaftliche Gemeinschaft muss in der Lage sein, die Risiken der resultierenden Modelle einzuschätzen und sie mit Vorsicht an die Öffentlichkeit weiterzugeben, aber es ist klar, dass eine offene Umgebung das Richtige ist.

Das obige ist der detaillierte Inhalt vonBenutzen Sie ChatGPT weniger und unterstützen Sie mehr Open Source! Nature, Professor an der New York University, schreibt: „Für die Zukunft der Wissenschaft.'. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!