Nous avons essayé le chatbot Le Chat AI de Mistral AI, et voici comment il se compare à ChatGPT

Le Chat de Mistral gagne du terrain au sein de la communauté des chatbots IA, certains observateurs le qualifiant de rival potentiel de ChatGPT.

Mais ce tout nouveau chatbot IA vaut-il vraiment ce titre ? Le Chat de Mistral est-il meilleur que ChatGPT ?

Qu'est-ce que Le Chat de Mistral AI ?

Le Chat est un chatbot d'IA conversationnel développé par la startup française d'IA Mistral AI. Il est alimenté par plusieurs grands modèles de langage appartenant à Mistral, notamment Mistral Large, Mistral Small et Mistral Next, que vous pouvez tous choisir d'utiliser lorsque vous interagissez avec le chatbot IA. Bien qu'il s'agisse d'un entrant relativement nouveau dans le domaine des chatbots IA, il est très bien noté en raison des performances de ses modèles d'IA malgré leur taille plus petite par rapport aux poids lourds de l'industrie comme Gemini et GPT-4.

Pour comprendre ce que cela signifie, imaginez que vous jouez avec des blocs de construction. Plus vous avez de blocs, plus vous pouvez construire des structures complexes et détaillées, n'est-ce pas ? Les modèles de langage AI sont un peu comme ça. Ils existent en tailles, généralement exprimées en nombre de paramètres. Ainsi, vous avez peut-être entendu des termes tels que « paramètres 7B » ou « paramètres 70B » dans les modèles d'IA. Le nombre de paramètres est comme le nombre d’éléments de base que le modèle doit comprendre et générer des réponses. Ainsi, si un modèle de langage comporte plus de paramètres, il peut comprendre et générer des réponses plus complexes et de meilleure qualité.

Aujourd'hui, alors que GPT-4 possède environ 1,76 billion de paramètres, celui de Mistral AI est estimé entre 7 et 56 milliards de paramètres. Vous voyez la différence de taille ? Ainsi, la capacité de Mistral AI à afficher des performances décentes est l’une des raisons de ce battage médiatique.

Bien que Le Chat n'apprécie pas le niveau de publicité dont bénéficie ChatGPT ni la valeur de la marque de sociétés comme Gemini, il s'est frayé un chemin dans la conversation chaque fois qu'un potentiel concours ChatGPT est évoqué. Mais mérite-t-il une place sur la table ?

Je me pose la même question, et pour le savoir, j'ai testé Le Chat de manière approfondie pour voir comment il se compare à ChatGPT.

Le Chat vs. ChatGPT : Créativité

La créativité est l'une des mesures les plus importantes pour juger des performances d'un chatbot IA conversationnel. N'oubliez pas que le but d'un chatbot IA est de reproduire ou d'imiter les capacités conversationnelles et le flair créatif des humains à grande échelle. Cela fait de la créativité un atout très important pour tout chatbot IA. Le monde expérimente ChatGPT depuis plus d’un an et ses capacités créatives sont indéniables. Mais comment Le Chat se compare-t-il ? Nous soumettons les deux chatbots à une série de tests de créativité.

J'ai commencé par demander aux deux chatbots : "Comment vous décririez-vous à un artiste ?" tester leur capacité à utiliser des mots créatifs et imaginatifs pour se conceptualiser.

Voici comment ChatGPT se décrirait à un artiste :

Et voici comment Le Chat se décrirait également :

Les deux réponses étaient appropriées à leur manière. ChatGPT était davantage investi dans l'utilisation d'images et de métaphores vives pour se décrire, démontrant ainsi son sens créatif. D'un autre côté, la réponse de Le Chat est très informative et axée sur la description de son essence en tant que chatbot IA. Certains diront peut-être qu'il manque du flair créatif et de l'approche artistique dont fait preuve la réponse de ChatGPT. Cependant, je vais prendre des risques en disant que je préfère la réponse plus facile à imaginer de Le Chat à la description abstraite de ChatGPT.

J'ai ensuite demandé à ChatGPT et Le Chat d'écrire une chanson de rap sur le thème de devenir riche en cultivant des concombres – une demande délicate que nous avons utilisée pour tester la créativité d'autres chatbots. Combien de chansons de rap pouvez-vous trouver sur le Web sur les concombres ?

Voici la réponse de ChatGPT :

Et voici la réponse de Le Chat :

C'est peut-être un problème subjectif, mais la réponse de ChatGPT semble être la meilleure option ici. Les paroles de Le Chat semblaient assez verbeuses et ne ressemblaient pas vraiment à celles d'un rappeur. Pour tester le son des deux paroles si elles devaient être transformées en musique, nous avons utilisé le générateur de musique Suno AI pour générer de la musique à partir des paroles. Trois essais sur trois, les paroles de ChatGPT sonnaient bien mieux. Vous trouverez ci-dessous deux exemples des deux chatbots IA, vous pouvez juger quel chatbot a fait le mieux.

Échantillons générés à partir des paroles de ChatGPT

Échantillon 1 :

Échantillon 2 :

Échantillons générés à partir des paroles de Mistral Le Chat

Échantillon 1 :

Échantillon 2 :

J'ai essayé quelques autres tâches créatives, comme des poèmes, des articles rédiger et rédiger des e-mails professionnels délicats avec les chatbots IA. Malgré de grandes promesses, Le Chat a été clairement surpassé par ChatGPT dans tous les cas. Il est important de souligner qu'un domaine dans lequel Le Chat était particulièrement fort était la rédaction d'articles, bien qu'avec des styles d'incitation délicats. Cependant, en termes de créativité tous azimuts, la médaille revient à ChatGPT.

Le Chat vs. ChatGPT : compétences en programmation

La maîtrise du codage est devenue une exigence clé pour les principaux chatbots IA. Écrire un code décent est une compétence de base, mais pour vraiment se démarquer parmi l'élite, un chatbot IA doit démontrer ses prouesses dans la création de code capable de résoudre efficacement un large éventail de problèmes complexes. Nous avons déjà créé une application Web complète à partir de zéro en utilisant ChatGPT, ce qui démontre ses capacités remarquables en tant qu'outil de programmation. Mais dans quelle mesure Le Chat est-il doué pour écrire du code ?

J'ai chargé les deux chatbots d'écrire une application simple de liste de tâches en utilisant CSS, HTML et JavaScript. ChatGPT n'a eu aucune difficulté à produire de bons résultats. J'ai copié le code généré et l'ai prévisualisé sur un navigateur, et voici ce que ChatGPT a créé :

Chaque fois que nous répétions l'invite, ChatGPT créait une application de liste de tâches fonctionnelle en utilisant différents styles. En aucun cas, le code généré n’a échoué à fonctionner.

Lorsque j'ai essayé la même invite avec Le Chat, elle a généré ce qui semblait être du code intelligible, mais lorsque nous avons essayé de l'exécuter sur un navigateur, elle n'était pas fonctionnelle. Après avoir répété l'invite trois fois, aucune instance n'a produit de code capable de terminer la tâche définie. Il a échoué dans l’une des tâches de codage les plus élémentaires : drapeau rouge !

Bien entendu, je ne jugerai pas Le Chat sur un seul test raté. Ensuite, j'ai demandé aux deux chatbots de générer du code JavaScript et PHP pour crypter et déchiffrer le texte. Dans ce deuxième test, ChatGPT et Le Chat ont produit un code fonctionnel capable d'effectuer la tâche définie. Cependant, la version de Le Chat ressemblait à ce qu'écrirait un programmeur débutant inexpérimenté. Le code de ChatGPT, en revanche, était plus complet et semblait avoir été écrit par un programmeur expérimenté.

J'ai répété quelques tests de programmation supplémentaires impliquant la recherche et la correction de bugs, et ChatGPT a systématiquement surpassé Le Chat. Dans certains cas, Le Chat ne savait même pas ce qu'il était censé faire. Il y a de fortes chances que Le Chat puisse se mesurer à ChatGPT dans certains domaines, mais les compétences en codage ne semblent pas en faire partie.

Le Chat vs ChatGPT : bon sens et raisonnement logique

Une particularité intéressante des chatbots IA est leur capacité à résoudre facilement des tâches complexes, mais échouent dans des tâches simples qui nécessitent du bon sens de base. De nombreux chatbots, qu'ils soient établis comme ChatGPT ou nouveaux entrants comme Le Chat, ont du mal à résoudre des tâches nécessitant du bon sens humain et un raisonnement logique. Alors, comment Le Chat et ChatGPT se comparent-ils sur ce front ?

J'ai demandé aux deux chatbots : "Si vous avez une bouteille de 3 litres et une bouteille de 5 litres. Comment mesurer 4 litres d'eau en utilisant les bouteilles de 3 litres et de 5 litres ?"

ChatGPT a résolu le problème avec brio :

Le Chat a essayé la même tâche et a pu résoudre le problème, bien qu'en utilisant une approche différente.

Les deux chatbots ont obtenu des résultats comparables lors de ce test.

Ensuite, nous avons posé une question piège aux deux chatbots : "Si un vaisseau spatial en provenance de Mars se brise en deux, avec une partie s'écrasant dans l'océan Atlantique près du Brésil et l'autre dans l'océan Pacifique près du Japon, où enterrez-vous les survivants ?"

ChatGPT a vu à jour la supercherie et a répondu en conséquence :

Le Chat a également été capable de voir à travers la supercherie et a répondu en conséquence :

J'ai essayé plus de questions pièges, et il semble que ChatGPT et Le Chat soient tous deux assez adeptes à gérer les invites de bon sens et de raisonnement logique. Cependant, avec des questions logiques plus complexes, seul ChatGPT pouvait apporter les bonnes réponses.

Bien que Le Chat ait généré un certain buzz en tant que « tueur potentiel de ChatGPT », nos tests montrent qu'il lui reste encore beaucoup à faire avant de pouvoir véritablement affronter les poids lourds du monde des chatbots IA. Bien que Le Chat ait démontré des capacités impressionnantes dans des domaines tels que le raisonnement de bon sens, sa production créative et ses compétences en codage étaient sensiblement en retard par rapport à ChatGPT. Le nouveau venu français de l’IA est certes prometteur, mais la machine à battage médiatique prend peut-être un peu d’avance sur elle-même.

Comme beaucoup de prétendants en herbe avant lui, Le Chat a besoin d'un perfectionnement et d'un entraînement continus avant d'être prêt pour la cour des grands. Pour l’instant, les chatbots IA comme ChatGPT sont toujours clairement les rois incontestés du monde des chatbots IA. Mais le peloton de concurrents ne fait que s'encombrer, de sorte que les leaders ne peuvent pas se permettre de se reposer sur leurs lauriers.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!