Die Qualität des KI-Textübersetzungssystems hat sich um 44 % verbessert und verwendet über 50 Milliarden Parameter zur Übersetzung von 200 Sprachen

Meta Platforms hat heute den Systemcode von NLLB-200 veröffentlicht, einem von Meta intern entwickelten künstlichen Intelligenzsystem, das Texte in 200 Sprachen übersetzen kann.

Meta kündigte außerdem eine Reihe von Tools an, die Forschern helfen sollen, NLLB-200 einfacher auf Softwareprojekte anzuwenden.

Laut Meta werden viele der 200 Sprachen, die NLLB-200 verstehen kann, von anderen KI-Übersetzungssystemen nicht gut unterstützt. Während derzeit weit verbreitete Übersetzungstools weniger als 25 afrikanische Sprachen unterstützen, unterstützt der NLLB-200 bis zu 55 afrikanische Sprachen.

Meta sagt, dass die Übersetzungsgenauigkeit ein weiterer Bereich ist, in dem NLLB-200 andere Tools übertrifft. Meta verwendet den Genauigkeitsstandard des BLEU-Bewertungssystems, einen Algorithmus zur Messung der Qualität maschinell übersetzter Texte. Laut Meta ist der BLEU-Score von NLLB-200 im Durchschnitt 44 % höher als zuvor.

Mark Zuckerberg, CEO von Meta, sagte: „Wir haben gerade ein selbst entwickeltes KI-Modell als Open-Source-Lösung bereitgestellt, das 200 verschiedene Sprachen übersetzen kann – von denen viele von aktuellen Übersetzungssystemen nicht unterstützt werden. Wir nennen dieses Projekt „For No Language Left Behind“. Die von uns verwendete Modellierungstechnologie für künstliche Intelligenz erstellt hochwertige Übersetzungen für Sprachen, die von Milliarden Menschen auf der ganzen Welt gesprochen werden.“

NLLB-200 verfügt über mehr als 50 Milliarden Parameter, und diese Konfigurationen bestimmen den Weg des KI-Systems die Daten werden verarbeitet. Je mehr Parameter ein KI-System hat, desto höher ist seine Genauigkeit.

Die Tatsache, dass das NLLB-200 über eine so große Anzahl an Parametern verfügt, ist nicht der einzige Faktor für seine Fähigkeit, 200 Sprachen mit hoher Genauigkeit zu unterstützen, da das NLLB-200-System auch auf viele andere von Meta entwickelte KI-Innovationen zurückgreift Ingenieure.

Meta bietet Unterstützung für Forschung im Zusammenhang mit maschinellem Lernen mithilfe des selbst entwickelten LASER-Toolkits. Mit dem Toolkit können Forscher ein neuronales Netzwerk trainieren, um eine bestimmte Aufgabe in einer Sprache auszuführen, und das neuronale Netzwerk dann relativ einfach an andere Sprachen anpassen, was für Übersetzungszwecke nützlich wäre. Meta hat ein neues NLLB-200-System entwickelt, das eine verbesserte Version von LASER – LASER3 – unterstützt.

Die Originalversion von LASER enthielt ein neuronales Netzwerk namens LSTM, eine spezielle Komponente, die Text in eine mathematische Darstellung umwandelt, die das KI-System verstehen kann. Diese mathematische Darstellung trägt dazu bei, genauere Übersetzungen zu erstellen. In LASER3 ersetzt Meta das neuronale LSTM-Netzwerk durch Transformer, ein fortschrittliches Modell zur Verarbeitung natürlicher Sprache, das dieselbe Aufgabe effizienter ausführen kann.

Meta nutzte auch mehrere andere Methoden, um die Fähigkeiten des NLLB-200 zu verbessern, wie z. B. die Aktualisierung des Systems zur Erfassung von Trainingsdaten durch Meta und die Vornahme von Änderungen am KI-Trainingsworkflow.

Meta nutzt den selbst entwickelten Research SuperCluster-Supercomputer (im Bild), um NLLB-200 zu trainieren. Als Meta Research SuperCluster im Januar dieses Jahres erstmals vorstellte, hieß es, das System sei mit 6.080 Nvidias neuesten A100-Rechenzentrums-GPUs ausgestattet und werde schließlich auf 16.000 GPUs aufgerüstet.

Meta plant, NLLB-200 zu nutzen, um bessere automatische Übersetzungsfunktionen auf Facebook, Instagram und anderen Plattformen bereitzustellen, und das System wird voraussichtlich mehr als 25 Milliarden Übersetzungen pro Tag unterstützen.

Während Meta hart daran arbeitet, NLLB-200 intern zu fördern, plant das Unternehmen auch, anderen Unternehmensorganisationen dabei zu helfen, das System auf ihre eigenen Softwareprojekte anzuwenden.

Zusätzlich zu NLLB-200 verfügt Meta über Open-Source-Code, der zum Trainieren von KI verwendet werden kann, sowie über einen Datensatz namens FLORES-200 zur Bewertung der Übersetzungsgenauigkeit. Meta wird bis zu 200.000 US-Dollar an Fördermitteln bereitstellen, um gemeinnützigen Organisationen bei der Einführung von NLLB-200 zu helfen. Darüber hinaus wird Meta auch mit der Wikimedia Foundation zusammenarbeiten, um automatische Übersetzungstechnologie auf Wikipedia-Artikel anzuwenden.

Das obige ist der detaillierte Inhalt vonDie Qualität des KI-Textübersetzungssystems hat sich um 44 % verbessert und verwendet über 50 Milliarden Parameter zur Übersetzung von 200 Sprachen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!