Faire des recommandations d'actualités explicables avec des modèles de langue importants

Der Spiegel explore l'utilisation de modèles de grands langues (LLM) pour améliorer les recommandations d'articles de presse. Une expérience hors ligne a évalué la capacité d'un LLM à prédire l'intérêt du lecteur basé sur l'histoire de la lecture.

Méthodologie:

Les données de l'enquête des lecteurs ont fourni une vérité sur le terrain des préférences. L'histoire de la lecture de chaque participant et les cotes d'intérêt de l'article ont été utilisés. Claude 3.5 Sonnet LLM d'Anthropic, agissant comme un moteur de recommandation, a reçu l'histoire de chaque lecteur (titre et résumé) pour prédire l'intérêt pour les nouveaux articles (scores 0-1000). Un format de sortie JSON a assuré des résultats structurés. Les prédictions de la LLM ont été comparées aux cotes d'enquête réelles. Une méthodologie détaillée est disponible dans:

Une approche de méthodes mixtes pour l'évaluation hors ligne des systèmes de recommandation de nouvelles

Résultats de clés:

Des résultats impressionnants ont été obtenus. La précision @ 5 a atteint 56% - lors de la recommandation de 5 articles, près de 3 figuraient parmi les articles les mieux notés d'un utilisateur. Pour 24% des utilisateurs, 4 ou 5 articles supérieurs ont été correctement prédits; Pour 41% supplémentaires, 3 sur 5 étaient corrects. Cela surpasse considérablement les recommandations aléatoires (38,8%), les recommandations basées sur la popularité (42,1%) et une approche précédente basée sur l'intégration (45,4%).

Le graphique illustre le soulèvement des performances de l'approche LLM sur d'autres méthodes.

La corrélation de Spearman, une deuxième métrique, a atteint 0,41, dépassant considérablement l'approche basée sur l'incorporation (0,17), indiquant une compréhension supérieure de la force des préférences.

Explication:

L'explication de la LLM est un avantage clé. Un exemple montre comment le système analyse les modèles de lecture et justifie les recommandations:

<code>User has 221 articles in reading history

Top 5 Predicted by Claude:
... (List of articles with scores and actual ratings)

Claude's Analysis:
... (Analysis of reading patterns and scoring rationale)</code>

Cette transparence améliore la confiance et la personnalisation.

Défis et orientations futures:

Les coûts API élevés (0,21 $ par utilisateur) et la vitesse de traitement (plusieurs secondes par utilisateur) pose des défis d'évolutivité. L'exploration des modèles open source et de l'ingénierie rapide pourrait les atténuer. L'incorporation de données supplémentaires (temps de lecture, popularité de l'article) pourrait encore améliorer les performances.

Conclusion:

La forte puissance prédictive et l'explication des LLM les rendent précieuses pour la recommandation d'actualités. Au-delà des recommandations, ils offrent de nouvelles façons d'analyser le comportement des utilisateurs et les voyages de contenu, permettant des résumés et des idées personnalisés.

remerciements

Cette recherche a utilisé des données utilisateur anonymisées et agrégées. Une discussion plus approfondie est la bienvenue via LinkedIn.

références

[1] Dairui, Liu & Yang, Boming & Du, Honghui & Greene, Derek & Hurley, Neil & Lawlor, Aonghus & Dong, Ruihai & Li, Irene. (2024). Recprompt: un cadre d'incitation auto-réglante pour la recommandation de nouvelles utilisant de grands modèles de langage.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!