Nachrichtenempfehlungen mit großsprachigen Modellen erklären

der Spiegel untersucht mithilfe von großsprachigen Modellen (LLMs), um die Empfehlungen von Nachrichtenartikeln zu verbessern. In einem Offline -Experiment wurde die Fähigkeit eines LLM bewertet, das Leserinteresse auf der Grundlage der Leserhistorie vorherzusagen.

Methodik:

Leserumfragedaten lieferten eine Grundwahrheit der Präferenzen. Die Lesegeschichte und die Artikelinteresse jedes Teilnehmers wurden verwendet. Der Claude 3.5 Sonnet LLM von Anthropic, der als Empfehlungsmotor fungierte, erhielt die Geschichte eines jeden Lesers (Titel und Zusammenfassung), um das Interesse an neuen Artikeln vorherzusagen (erzielte 0-1000). Ein JSON -Ausgangsformat sorgte für strukturierte Ergebnisse. Die Vorhersagen des LLM wurden mit den tatsächlichen Umfragebewertungen verglichen. Eine detaillierte Methodik ist in:

verfügbar

Ein Ansatz mit gemischten Methoden zur Offline-Bewertung von Nachrichten Empfehlungssystemen

Schlüsselergebnisse:

beeindruckende Ergebnisse wurden erzielt. Precision@5 erreichte 56%-Bei der Empfehlung von 5 Artikeln gehörten fast 3 der am besten bewerteten Artikel eines Benutzers. Für 24% der Benutzer wurden 4 oder 5 Top -Artikel korrekt vorhergesagt; Für weitere 41%waren 3 von 5 korrekt. Dies übertrifft zufällige Empfehlungen (38,8%), beliebtenbasierte Empfehlungen (42,1%) und einen früheren Einbettungsansatz (45,4%).

Das Diagramm zeigt die Leistungsaufhebung des LLM -Ansatzes gegenüber anderen Methoden.

Spearman-Korrelation, eine zweite Metrik, erreichte 0,41 und übertraf den Einbettungsansatz im Wesentlichen (0,17), was auf ein überlegenes Verständnis der Präferenzstärke hinweist.

Erklärung:

Die Erklärung des LLM ist ein wesentlicher Vorteil. Ein Beispiel zeigt, wie das System Lesemuster analysiert und Empfehlungen rechtfertigt:

<code>User has 221 articles in reading history

Top 5 Predicted by Claude:
... (List of articles with scores and actual ratings)

Claude's Analysis:
... (Analysis of reading patterns and scoring rationale)</code>

Diese Transparenz verbessert das Vertrauen und die Personalisierung.

Herausforderungen und zukünftige Anweisungen:

hohe API -Kosten (0,21 USD pro Benutzer) und Verarbeitungsgeschwindigkeit (mehrere Sekunden pro Benutzer) stellen Skalierbarkeitsprobleme auf. Die Erkundung von Open-Source-Modellen und sofortiger Engineering kann diese mildern. Die Einbeziehung zusätzlicher Daten (Lesezeit, Artikelpopularität) könnte die Leistung weiter verbessern.

Schlussfolgerung:

Die starke Vorhersagekraft und Erklärung von LLMs machen sie für die Nachrichtenempfehlung wertvoll. Über Empfehlungen hinaus bieten sie neue Möglichkeiten zur Analyse von Benutzern und Inhaltsreisen und ermöglichen personalisierte Zusammenfassungen und Erkenntnisse.

ANERKENNUNG

Diese Forschung verwendete anonymisierte, aggregierte Benutzerdaten. Eine weitere Diskussion ist über LinkedIn willkommen.

referenzen

[1] Dairui, Liu & Yang, Boming & Du, Honghui & Greene, Derek & Hurley, Neil & Lawlor, Aonghus & Dong, Ruihai & Li, Irene. (2024). Recprompt: Ein selbstverstimmendes Aufforderungs-Framework für Nachrichtenempfehlungen mit großer Sprachmodellen.

Das obige ist der detaillierte Inhalt vonNachrichtenempfehlungen mit großsprachigen Modellen erklären. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!