Périphériques technologiques
IA
Les classements quasi-chinois de l'UC Berkeley LLM sont ici ! GPT-4 se classe premier et le modèle RNN open source chinois entre dans le top six
Les classements quasi-chinois de l'UC Berkeley LLM sont ici ! GPT-4 se classe premier et le modèle RNN open source chinois entre dans le top six
Il y a quelque temps, des chercheurs de LMSYS Org (dirigés par l'UC Berkeley) ont fait une grande nouvelle : le concours de qualification pour la version du grand modèle de langage !
Cette fois, l'équipe a non seulement amené 4 nouveaux joueurs, mais aussi un classement (quasi) chinois.
- OpenAI GPT-4
- OpenAI GPT-3.5-turbo
- Anthropic Claude-v1
- RWKV-4-Raven-14B (open source)
Il ne fait aucun doute que tant que GPT-4 rejoint la bataille, ce sera Steady en première place.
Cependant, de manière inattendue, Claude a non seulement dépassé GPT-3.5, qui a amené OpenAI à l'autel, pour se classer deuxième, mais n'avait que 50 points de retard sur GPT-4.
En comparaison, le troisième GPT-3.5 n'est que 72 points de plus que Vicuna, le modèle open source le plus puissant avec 13 milliards de paramètres.
Et le "modèle RNN pur" de 14 milliards de paramètres RWKV-4-Raven-14B s'appuie sur ses excellentes performances pour surpasser tous les modèles Transformer et se classer 6ème - à l'exception du modèle Vicuna, RWKV est en concurrence avec tous les autres modèles open source les modèles ont remporté plus de 50 % des matchs sans égalité.
De plus, l'équipe a également créé deux classements distincts : « Anglais uniquement » et « Non-anglais » (dont la plupart sont en chinois).
Vous pouvez constater que les classements de nombreux modèles ont considérablement changé.
Par exemple, ChatGLM-6B entraîné avec davantage de données chinoises a obtenu de meilleurs résultats, et GPT-3.5 a également réussi à dépasser Claude et à se classer deuxième.
Les principaux contributeurs à cette mise à jour sont Sheng Ying, Lianmin Zheng, Hao Zhang, Joseph E. Gonzalez et Ion Stoica.
Sheng Ying est l'un des trois fondateurs de LMSYS Org (les deux autres sont Lianmin Zheng et Hao Zhang) et doctorant au Département d'informatique de l'Université de Stanford.
Elle est également une œuvre du système FlexGen populaire qui peut exécuter une inférence de modèle 175B sur un seul GPU. Il a actuellement reçu 8 000 étoiles.
Adresse papier : https://arxiv.org/abs/2303.06865
Adresse du projet : https://github.com/FMInference/FlexGen
Page d'accueil personnelle ：https://sites.google.com/view/yingsheng/home
"Open Source" VS "Closed Source"
Avec l'aide de la communauté, l'équipe a collecté un total de 13 000 votes anonymes, et une découverte intéressante.
L'écart entre le propriétaire et l'open source
Parmi les trois modèles propriétaires, le modèle Claude d'Anthropic est plus populaire parmi les utilisateurs que le GPT-3.5-turbo.
De plus, Claude s'est également montré très compétitif face au GPT-4 le plus puissant.
À en juger par le tableau des taux de victoire ci-dessous, sur les 66 matchs sans égalité entre GPT-4 et Claude, Claude en a remporté 32 (48 %).
Dans toutes les batailles A contre B sans égalité, la proportion de modèle A gagnant
Cependant, il existe encore un grand écart entre les autres modèles open source et ces trois modèles propriétaires.
En particulier, GPT-4 est en tête du classement avec un score Elo de 1274. C'est près de 200 points de plus que la meilleure alternative open source de la liste, Vicuna-13B.
Après avoir éliminé les égalités, GPT-4 a remporté 82% des matchs contre Vicuna-13B et même contre la génération précédente GPT-3.5-turbo a remporté 79% des matchs.
Cependant, il convient de noter que ces modèles open source figurant dans le classement ont généralement moins de paramètres que les modèles propriétaires, compris entre 3 et 14 milliards.
En fait, les progrès récents en matière de LLM et de curation de données ont permis d'obtenir des améliorations significatives des performances en utilisant des modèles plus petits.
Le dernier PaLM 2 de Google en est un bon exemple : nous savons que PaLM 2 atteint de meilleures performances que son prédécesseur en utilisant des modèles de plus petite taille.
Par conséquent, l'équipe est optimiste quant au fait que les modèles de langage open source rattraperont leur retard.
Quand le GPT-4 va-t-il « se renverser » ?
Dans l'image ci-dessous, un utilisateur a posé une question délicate qui nécessite un raisonnement et une planification minutieux. Alors que Claude et GPT-4 ont fourni des réponses similaires, la réponse de Claude était légèrement meilleure.
Cependant, en raison de la nature aléatoire de l'échantillonnage, l'équipe a constaté que cette situation ne pouvait pas toujours être reproduite. Parfois, GPT-4 peut aussi donner la même séquence que Claude, mais il a échoué dans cet essai de génération.
De plus, l'équipe a remarqué que GPT-4 se comporte légèrement différemment lors de l'utilisation de l'API OpenAI et de l'interface ChatGPT, ce qui peut être dû à des invites, des paramètres d'échantillonnage ou d'autres inconnues différents. facteurs.
Un exemple d'utilisateur préférant Claude à GPT-4#🎜 🎜 #
Dans l'image ci-dessous, bien que Claude et GPT-4 aient des capacités étonnantes, ils ont toujours du mal à gérer ce type de problème d'inférence complexe.
Un exemple d'utilisateur pensant que Claude et GPT-4 ont tort # 🎜🎜#
En dehors de ces situations délicates, il existe de nombreuses questions simples qui ne nécessitent pas de raisonnement ou de connaissances complexes.Dans ce cas, les modèles open source comme Vicuna peuvent fonctionner de manière comparable à GPT-4, nous pourrons donc peut-être utiliser un modèle légèrement plus faible (mais plus petit ou plus bon marché) Large Language Model (LLM) comme alternative aux modèles plus puissants comme GPT-4.
Changements dans le score Elo
Chatbot Compétitif depuis la participation de trois puissants modèles propriétaires La concurrence n'a jamais été si féroce.
Depuis que les modèles open source perdent beaucoup de parties lorsqu'ils jouent contre des modèles propriétaires, leurs scores Elo ont tous baissé.
Enfin, l'équipe prévoit également d'ouvrir certaines API afin que les utilisateurs puissent enregistrer leurs propres chatbots pour participer à des matchs classés.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo.
May 07, 2024 pm 04:13 PM
Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale
L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao
Apr 09, 2024 am 11:52 AM
L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.
Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle
KAN, qui remplace MLP, a été étendu à la convolution par des projets open source
Jun 01, 2024 pm 10:03 PM
Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a
Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU
Apr 01, 2024 pm 07:46 PM
Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de
Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année !
May 06, 2024 pm 04:13 PM
La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles
FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye
Apr 26, 2024 am 11:37 AM
La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.
DualBEV : dépassant largement BEVFormer et BEVDet4D, ouvrez le livre !
Mar 21, 2024 pm 05:21 PM
Cet article explore le problème de la détection précise d'objets sous différents angles de vue (tels que la perspective et la vue à vol d'oiseau) dans la conduite autonome, en particulier comment transformer efficacement les caractéristiques de l'espace en perspective (PV) en vue à vol d'oiseau (BEV). implémenté via le module Visual Transformation (VT). Les méthodes existantes sont globalement divisées en deux stratégies : la conversion 2D en 3D et la conversion 3D en 2D. Les méthodes 2D vers 3D améliorent les caractéristiques 2D denses en prédisant les probabilités de profondeur, mais l'incertitude inhérente aux prévisions de profondeur, en particulier dans les régions éloignées, peut introduire des inexactitudes. Alors que les méthodes 3D vers 2D utilisent généralement des requêtes 3D pour échantillonner des fonctionnalités 2D et apprendre les poids d'attention de la correspondance entre les fonctionnalités 3D et 2D via un transformateur, ce qui augmente le temps de calcul et de déploiement.
