Die KI-Teams von Meta FAIR und Samaya nutzen KI, um die Überprüfbarkeit von Wikipedia zu verbessern

Bearbeiten |. Kohlblatt

Überprüfbarkeit ist eine zentrale Inhaltsrichtlinie von Wikipedia: Behauptungen müssen durch Zitate untermauert werden. Die Aufrechterhaltung und Verbesserung der Qualität von Wikipedia-Referenzen ist eine große Herausforderung, und es werden dringend bessere Tools benötigt, um Menschen bei dieser Aufgabe zu unterstützen.

Hier zeigen Forscher von Samaya AI und Meta FAIR, dass der Prozess der Verbesserung von Referenzen mithilfe künstlicher Intelligenz (KI) angegangen werden kann, die auf Informationsabrufsystemen und Sprachmodellen basiert.

Dieses auf einem neuronalen Netzwerk basierende System (hier SIDE genannt) identifiziert Wikipedia-Zitate, die seine Behauptungen wahrscheinlich nicht stützen, und empfiehlt dann bessere Zitate aus dem Internet. Das Team trainierte das Modell anhand vorhandener Wikipedia-Referenzen und lernte so aus den Beiträgen und dem gesammelten Wissen Tausender Wikipedia-Redakteure. Mithilfe von Crowdsourcing stellten die Forscher fest, dass bei den obersten 10 % der Zitate, die vom System höchstwahrscheinlich als nicht überprüfbar gekennzeichnet wurden, in 70 % des Zeitrahmens die Alternative des Systems gegenüber der ursprünglich zitierten Referenz bevorzugt wurde.

Um die Anwendbarkeit des Systems zu validieren, erstellten die Forscher eine Demo zur Interaktion mit der englischen Wikipedia-Community und stellten fest, dass für dieselben oberen 10 % der Behauptungen, die laut SIDE am wahrscheinlichsten nicht überprüfbar sind, die ersten Zitate vorliegen zu SIDE Die bevorzugte Häufigkeit von Empfehlungen ist doppelt so hoch wie die der vorhandenen Wikipedia-Zitate. Die Ergebnisse zeigen, dass KI-basierte Systeme neben dem Menschen eingesetzt werden können, um die Überprüfbarkeit von Wikipedia zu verbessern.

Die Forschung trug den Titel „Improving Wikipedia verifiability with AI“ und wurde am 19. Oktober 2023 in „Nature Machine Intelligence“ veröffentlicht.

Wikipedia ist mit fünf Billionen Seitenaufrufen pro Jahr eine der meistbesuchten Websites und damit eine der wichtigsten Wissensquellen der Gegenwart. Daher ist es von entscheidender Bedeutung, dass Wissen über Wikipedia fast immer überprüfbar ist: Wikipedia-Benutzer sollten in der Lage sein, Behauptungen auf Wikipedia mithilfe zuverlässiger externer Quellen zu finden und zu bestätigen. Um dies zu erleichtern, enthält der Wikipedia-Artikel Inline-Zitate zu Hintergrundmaterial, das die Behauptung stützt. Leser, die die Behauptungen von Wikipedia in Frage stellen, können diesen Anweisungen folgen und die Informationen selbst überprüfen.

In der Praxis kann dieser Prozess jedoch scheitern: Das Zitat enthält die angefochtene Behauptung möglicherweise nicht oder ihre Herkunft ist fraglich. Solche Aussagen mögen zwar immer noch wahr sein, der aufmerksame Leser kann sie jedoch anhand der Informationen in der zitierten Quelle nicht ohne weiteres überprüfen. Unter der Annahme, dass die Behauptungen von Wikipedia wahr sind, ist der Überprüfungsprozess in zwei Phasen unterteilt: (1) Überprüfung der Konsistenz vorhandener Quellen (2) Finden neuer Beweise;

Wie oben erwähnt, erfordert die Überprüfung von Wikipedia-Ansprüchen ein tiefes Verständnis der Sprache und die Beherrschung von Online-Suchen. Inwieweit können Maschinen dieses Verhalten lernen? Diese Frage ist aus der Perspektive des grundlegenden Fortschritts der künstlichen Intelligenz wichtig. Beispielsweise erfordert die Verifizierung die Fähigkeit, logische Folgerungen in natürlicher Sprache zu erkennen und Behauptungen und deren Kontext in optimale Suchbegriffe zum Auffinden von Beweisen zu übersetzen – zwei seit langem bestehende Probleme, die hauptsächlich in einem gewissen Grad an Syntheseumgebungen untersucht wurden.

Aus praktischer Sicht ist dies ebenso wichtig. Maschinenvalidatoren können Wikipedia-Redakteuren dabei helfen, zu kennzeichnen, welche Zitate eine fehlgeschlagene Validierung auslösen könnten, und vorschlagen, durch was die Zitate ersetzt werden sollen, falls sie ihre jeweiligen Behauptungen derzeit nicht unterstützen. Dies kann wichtig sein: Die Suche nach potenziellen Beweisen und die Durchsicht der Suchergebnisse erfordern Zeit und viel kognitiven Aufwand. Die Integration von KI-Assistenten in den Prozess kann dazu beitragen, beide Szenarien zu reduzieren.

Abbildung: SIDE-Übersicht. (Quelle: Papier)

In ihrer neuesten Arbeit haben Forscher von Samaya AI und Meta FAIR SIDE entwickelt, einen KI-basierten Wikipedia-Zitatvalidator. SIDE entdeckt Behauptungen auf Wikipedia, die anhand der aktuellen Zitierung möglicherweise nicht überprüfbar sind, und durchsucht aus diesem Grund den Netzwerk-Snapshot nach Alternativen.

Sein Verhalten wird von Wikipedia selbst gelernt: Mithilfe eines kuratierten Korpus englischsprachiger Wikipedia-Behauptungen und ihrer aktuellen Zitate trainieren die Forscher (1) eine Retriever-Komponente, die Behauptungen und Kontext in optimierte Notation und neuronale Suchanfragen umwandelt, um Kandidatenzitate in einem zu finden Korpus im Webmaßstab; (2) ein Verifizierungsmodell, das vorhandene und abgerufene Zitate nach ihrer Wahrscheinlichkeit, einen bestimmten Anspruch zu verifizieren, einordnet.

Das Team verwendet automatisierte Metriken und menschliche Anmerkungen, um sein Modell zu bewerten. Um die Genauigkeit des Systems automatisch zu messen, untersuchten sie, wie gut SIDE vorhandene Wikipedia-Zitate in qualitativ hochwertigen Artikeln (wie durch die Wikipedia-Artikelklasse definiert) wiederherstellte.

Die Forscher fanden heraus, dass SIDE in fast 50 % der Fälle die in Wikipedia verwendete Quelle korrekt als beste Lösung angab. Es ist erwähnenswert, dass dies nicht bedeutet, dass die anderen 50 % falsch liegen, sondern lediglich, dass es sich nicht um aktuelle Wikipedia-Quellen handelt.

Das Team testete auch die Fähigkeiten von SIDE als Zitierassistent. In Benutzerstudien platzierten sie vorhandene Wikipedia-Zitate neben SIDE-generierten Zitaten. Benutzer bewerten dann, wie gut die bereitgestellten Zitate die Behauptung stützen und welches Zitat von SIDE oder Wikipedia besser zur Überprüfung geeignet ist.

Insgesamt bevorzugen Benutzer in mehr als 60 % der Fälle die Zitate von SIDE gegenüber den Zitaten von Wikipedia, und dieser Wert steigt auf über 80 %, wenn SIDE den Zitaten von Wikipedia sehr niedrige Validierungswerte zuordnet.

Link zum Papier: https://www.nature.com/articles/s42256-023-00726-1

Das obige ist der detaillierte Inhalt vonDie KI-Teams von Meta FAIR und Samaya nutzen KI, um die Überprüfbarkeit von Wikipedia zu verbessern. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!