Nouveau benchmark de test publié, le Llama 3 open source le plus puissant est gêné

Si les questions du test sont trop faciles, les meilleurs étudiants comme les mauvais étudiants peuvent obtenir 90 points, et l'écart ne peut pas être creusé...

Avec la sortie de modèles plus puissants tels que Claude 3, Llama 3 et même GPT-5 , l'industrie a un besoin urgent d'un modèle plus difficile et de tests de référence plus différenciés.

LMSYS, l'organisation derrière le grand modèle Arena, a lancé la référence de nouvelle génération Arena-Hard, qui a attiré une large attention.

La dernière référence est également disponible pour la force des deux versions d'instructions affinées de Llama 3.

Par rapport au précédent MT Bench, qui avait des scores similaires, la discrimination Arena-Hard est passée de 22,6% à 87,4%, ce qui est clair en un coup d'œil.

Arena-Hard est construit à partir de données humaines en temps réel provenant de l'arène, et le taux de cohérence avec les préférences humaines atteint 89,1 %.

En plus des deux indicateurs ci-dessus atteignant SOTA, il y a un avantage supplémentaire :

Les données de test mises à jour en temps réel contiennent des mots d'invite nouvellement inventés par les humains et jamais vus par l'IA pendant la phase d'entraînement, atténuant ainsi les données potentielles. .

Après avoir publié un nouveau modèle, vous n'avez plus besoin d'attendre environ une semaine pour que les utilisateurs humains votent, il suffit de dépenser 25 $ pour exécuter rapidement le pipeline de test et obtenir les résultats.

Certains internautes ont fait remarquer qu'il est très important d'utiliser de vrais mots d'invite pour les utilisateurs au lieu des examens du secondaire pour les tests.

Comment fonctionne le nouveau benchmark ?

Pour faire simple, 500 mots d'invite de haute qualité sont sélectionnés comme ensemble de test parmi 200 000 requêtes d'utilisateurs dans le domaine des grands modèles.

Tout d'abord, veillez à la diversité pendant le processus de sélection, c'est-à-dire que l'ensemble de tests doit couvrir un large éventail de sujets du monde réel.

Pour garantir cela, l'équipe a adopté le pipeline de modélisation de sujets dans BERTopic, en convertissant d'abord chaque astuce à l'aide du modèle d'intégration d'OpenAI (text-embedding-3-small), en réduisant la dimensionnalité à l'aide d'UMAP et en regroupant à l'aide d'un algorithme de modèle basé sur la hiérarchie ( HDBSCAN) pour identifier les clusters, et enfin utiliser GPT-4-turbo pour l'agrégation.

Assurez-vous également que les mots d'invite sélectionnés sont de haute qualité, qui sont mesurés par sept indicateurs clés :

• Spécificité : le mot d'invite nécessite-t-il un résultat spécifique ?
• Connaissance du domaine : le mot d'invite couvre-t-il un ou plusieurs domaines spécifiques ?
• Complexité : le mot d'invite comporte-t-il plusieurs niveaux de raisonnement, de composants ou de variables ?
• Résolution de problèmes : le mot d'invite permet-il directement à l'IA de démontrer sa capacité à résoudre les problèmes de manière proactive ?
• Créativité : le mot d'invite implique-t-il un certain niveau de créativité dans la résolution de problèmes ?
• Précision technique : le mot d'invite nécessite-t-il une précision technique dans la réponse ?
• Application pratique : les mots-clés sont-ils pertinents pour les applications pratiques ?

Utilisez GPT-3.5-Turbo et GPT-4-Turbo pour annoter chaque astuce de 0 à 7 afin de déterminer combien de conditions sont remplies. Chaque cluster est ensuite noté sur la base du score moyen des indices.

Les questions de haute qualité sont généralement liées à des sujets ou à des tâches difficiles, tels que le développement de jeux ou des preuves mathématiques.

Le nouveau benchmark est-il précis ?

Arena-Hard a actuellement une faiblesse : utiliser GPT-4 comme arbitre préfère sa propre sortie. Les responsables ont également donné des conseils correspondants.

On peut voir que les scores des deux dernières versions de GPT-4 sont bien supérieurs à ceux de Claude 3 Opus, mais la différence dans les scores de vote humain n'est pas si évidente.

En fait, sur ce point, des recherches récentes ont démontré que les modèles de pointe préféreront leur propre production.

L'équipe de recherche a également découvert que l'IA peut intrinsèquement déterminer si un morceau de texte a été écrit par elle-même. Après un réglage fin, la capacité d'auto-reconnaissance peut être améliorée et la capacité d'auto-reconnaissance est linéairement liée à l'auto-reconnaissance. préférence.

Alors, comment l'utilisation de Claude 3 pour la notation changera-t-elle les résultats ? LMSYS a également réalisé des expériences pertinentes.

Tout d'abord, les scores de la série Claude vont effectivement augmenter.

Mais étonnamment, il préfère plusieurs modèles ouverts tels que Mixtral et Zero One Thousand Yi, et obtient même des scores nettement plus élevés sur GPT-3.5.

Dans l'ensemble, la discrimination et la cohérence avec les résultats humains obtenus avec Claude 3 ne sont pas aussi bonnes que GPT-4.

De nombreux internautes ont suggéré d'utiliser plusieurs grands modèles pour une notation complète.

De plus, l'équipe a également mené davantage d'expériences d'ablation pour vérifier l'efficacité du nouveau test de référence.

Par exemple, si vous ajoutez « rendre la réponse aussi détaillée que possible » dans le mot d'invite, la longueur moyenne de sortie sera plus élevée et le score s'améliorera effectivement.

Mais en changeant le mot d'invite en "aime discuter", la durée moyenne de sortie a également augmenté, mais l'amélioration du score n'était pas évidente.

De plus, de nombreuses découvertes intéressantes ont eu lieu au cours de l'expérience.

Par exemple, GPT-4 est très strict dans la notation. S'il y a des erreurs dans la réponse, des points seront sévèrement déduits tandis que Claude 3 sera indulgent même s'il reconnaît de petites erreurs.

Pour les questions de code, Claude 3 a tendance à fournir des réponses avec une structure simple, ne s'appuie pas sur des bibliothèques de codes externes et peut aider les humains à apprendre la programmation tandis que GPT-4-Turbo préfère les réponses les plus pratiques, quel que soit leur niveau de formation ; valeur.

De plus, même si la température est réglée sur 0, GPT-4-Turbo peut produire des jugements légèrement différents.

Il ressort également des 64 premiers clusters de la visualisation hiérarchique que la qualité et la diversité des questions posées par les utilisateurs de la grande arène des modèles sont effectivement élevées.

Peut-être y a-t-il votre contribution là-dedans.

Arena-Hard GitHub : https://github.com/lm-sys/arena-hard
Arena-Hard HuggingFace : https://huggingface.co/spaces/lmsys/arena-hard-browser
Grand modèle Arena : https://arena.lmsys.org

Lien de référence :

[1]https://x.com/lmsysorg/status/1782179997622649330
[2]https://lmsys.org/blog/2024-04 - 19-arène-dur/

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!