Le nouveau modèle qui défie OpenAI est désormais disponible gratuitement, avec 40 % de la puissance de calcul et des performances proches du GPT-4

Jeudi, la startup américaine d'IA Inflection AI a officiellement publié une nouvelle génération de grand modèle de langage Inflection-2.5.

Selon les rapports, Inflection-2.5 combinera la puissante technologie LLM et la fonction unique de « réglage fin de l'empathie » d'Inflection, intégrant les caractéristiques d'un QE élevé et d'un QI élevé. Il peut obtenir des informations factuelles via Internet et ses performances sont comparables à celles des principaux modèles à grande échelle tels que GPT-4 et Gemini.

Inflection-2.5 est désormais disponible gratuitement pour tous les utilisateurs de Pi sur les applications PC, iOS et Android. Après un simple test réalisé par Heart of the Machine, nous avons constaté qu'il existe encore un certain écart par rapport à GPT-4, mais cela vaut quand même la peine d'essayer. Les utilisateurs intéressés peuvent en faire l’expérience eux-mêmes.

Lien : https://pi.ai/talk

Il est à noter qu'Inflection-2.5 atteint des performances proches de GPT-4, alors que le processus de formation n'utilise que 40 % de GPT-4 Puissance de calcul.

Inflection AI souligne que la nouvelle génération de modèles à grande échelle a fait des progrès significatifs dans des domaines tels que le codage intelligent et les mathématiques. Ces avancées se traduiront par des améliorations concrètes des principales références de l’industrie, garantissant que Pi reste à la pointe de la technologie. De plus, Pi intègre des capacités de recherche Web en temps réel de classe mondiale pour garantir aux utilisateurs un accès à des actualités de haute qualité et aux dernières informations.

Inflection-2.5 vs GPT-4

Inflection-1 Le FLOP utilisé en formation est d'environ 4% de GPT-4, et sa performance moyenne dans diverses tâches « orientées QI » est d'environ GPT-4 72 % du niveau. Désormais, Inflection-2.5 atteint une performance moyenne de plus de 94 % de GPT-4, malgré l'utilisation de seulement 40 % des FLOP de GPT-4 pour l'entraînement. Comme le montre la figure ci-dessous, les performances d'Inflection-2.5 ont permis d'obtenir des améliorations significatives dans tous les domaines, les plus grandes améliorations étant apportées à la connaissance du domaine STEM. Les résultats de

à deux examens STEM différents - l'examen hongrois de mathématiques et l'examen de diplôme d'études supérieures en physique (GRE) - sont les suivants :

Comme le montre le tableau ci-dessous, le L'étude Inflection-2.5 est également évaluée sur le benchmark MMLU et le benchmark GPQA Diamond. Le benchmark MMLU couvre 57 disciplines en STEM, sciences humaines, sciences sociales et plus encore, testant efficacement les capacités de connaissances complètes du LLM, tandis que le benchmark GPQA Diamond est un benchmark de niveau expert extrêmement difficile.

Sur le benchmark BIG-Bench-Hard, Inflection-2.5 améliore les performances de plus de 10 % par rapport à Inflection-1 et est comparable à GPT-4. Le benchmark BIG-Bench-Hard couvre principalement des problèmes difficiles à résoudre avec de grands modèles de langage.

L'étude a également été évaluée sur le benchmark MT-Bench. Cependant, l'équipe de recherche s'est rendu compte qu'une grande partie (près de 25 %) d'exemples dans les catégories Raisonnement, Mathématiques et Codage comportaient des solutions de référence incorrectes ou des prémisses erronées. Par conséquent, l'étude a corrigé ces exemples et mené à nouveau l'expérience d'évaluation, et les résultats sont présentés dans le tableau ci-dessous :

Les résultats d'évaluation sur les benchmarks GSM8k et MATH montrent qu'Inflection-2.5 est meilleur qu'Inflection en termes des capacités de mathématiques et de codage -1 présente des améliorations significatives :

Afin de tester davantage les capacités de codage d'Inflection-2.5, l'étude a mené des expériences d'évaluation sur deux références de codage, MBPP+ et HumanEval+, et les résultats sont présentés dans le tableau suivant :

L'équipe de recherche a évalué Inflection-2.5 sur HellaSwag et ARC-C, ainsi que divers modèles sur la base du bon sens et des références scientifiques. À en juger par les résultats ci-dessous, Inflection-2.5 réalise de solides performances sur ces critères.

De plus, toutes les évaluations ci-dessus ont été effectuées à l'aide de modèles désormais compatibles Pi. Cependant, il est également important de noter que l'expérience utilisateur peut varier légèrement en raison de la récupération sur le réseau (les tests ci-dessus n'ont pas utilisé la récupération sur le réseau), de la structure des invites à quelques tirs et d'autres aspects de la production.

En général, Inflection-2.5 conserve les fonctionnalités « centrées sur le cœur » de Pi et les normes de sécurité extrêmement élevées, devenant ainsi un modèle plus complet et plus utile.

Ces derniers temps, la concurrence technologique pour les grands modèles de langage est entrée dans une phase féroce. Parmi de nombreuses entreprises technologiques, Mistral AI (Mistral Large) et Anthropic (Claude 3) se démarquer, la nouvelle technologie proposée atteint des capacités proches de GPT-4 et Gemini Ultra. Inflexion-2.5, apparue hier, semble rejoindre le premier échelon.

En tant que startup star de la Silicon Valley, Inflection AI a une longue histoire. Elle a été fondée en 2022. Ses trois co-fondateurs sont l'ancien co-fondateur de DeepMind Mustafa Suleyman, le co-fondateur de LinkedIn Reid Hoffman et l'ancien chef de DeepMind. Karen Simonyan, scientifique exécutive.

En juin de l'année dernière, Inflection AI a annoncé avoir reçu un financement de 1,3 milliard de dollars, dirigé par Microsoft, Nvidia, Reid Hoffman, Bill Gates et l'ancien PDG de Google, Eric Schmidt. Actuellement, Inflection AI est devenue la quatrième plus grande startup d’IA générative au monde.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!