Périphériques technologiques
IA
Un nouveau modèle de dialogue vocal à grande échelle est lancé en Chine : dirigé par Kai-Fu Lee, avec la participation de Zero One and All, soutenant le bilinguisme chinois et anglais et la multimodalité, open source et disponible dans le commerce.
Un nouveau modèle de dialogue vocal à grande échelle est lancé en Chine : dirigé par Kai-Fu Lee, avec la participation de Zero One and All, soutenant le bilinguisme chinois et anglais et la multimodalité, open source et disponible dans le commerce.
Le premier grand modèle open source de dialogue vocal bilingue chinois-anglais est là !
Ces derniers jours, un article sur un grand modèle multimodal de texte vocal est apparu sur arXiv, et le nom de la grande société de modèles de Kai-fu Lee, 01.ai - Zero One Thousand Things - est apparu parmi la signature entreprises.
Picture
Cet article présente un modèle de conversation bilingue chinois-anglais disponible dans le commerce appelé LLaSM. Ce modèle prend non seulement en charge l'enregistrement et la saisie de texte, mais peut également réaliser la fonction de « double hybride »
image
La recherche souligne que le « chat vocal » est un moyen d'interaction plus pratique et naturel entre l'IA et les personnes. , pas seulement via la saisie de texte
utilise de grands modèles, et certains internautes imaginent déjà le scénario « d'écrire du code en étant allongé et en parlant ».
Pictures
Cette recherche a été réalisée conjointement par LinkSoul.AI, l'Université de Pékin et Zero One Wish. Elle est désormais open source et peut être essayée directement dans Huugian
Pictures
Jetons un coup d'œil à. à quel point il est efficace
Prend en charge la saisie texte-parole et peut également être lu sur les téléphones mobiles
Selon les chercheurs, LLaSM est le premier open source et open source disponible dans le commerce qui prend en charge le multimodal discours-texte bilingue chinois et anglais Modèle de dialogue.
Jetons donc un coup d’œil à sa saisie vocale de texte et à ses capacités bilingues en chinois et en anglais.
Tout d'abord, faisons une collision culturelle entre le chinois et l'anglais et évaluons Li Bai en anglais :
Photos
C'est bon, et cela décrit correctement la dynastie de Li Bai. Si vous ne savez pas lire l'anglais, ce n'est pas un problème de le faire traduire directement en chinois :
Images
Dans le prochain exercice, essayons une question mixte chinois-anglais en ajoutant le mot « fried food » dans Phrases chinoises. L'effet de sortie du modèle est également assez bon :
Photos
Essayons à nouveau le modèle et laissons-le faire une évaluation pour voir lequel est le meilleur, Li Bai ou Du Fu
On peut observer que après une période de réflexion , ce modèle donne une évaluation très objective et neutre, et possède également les connaissances de base et le bon sens nécessaires aux maquettes à grande échelle (tête de chien manuelle)
photos
Bien sûr, cela peut être joué non seulement sur les ordinateurs, mais aussi sur les téléphones mobiles.
Nous essayons de saisir « me recommander une recette » à l'aide de la voix :
Vous pouvez voir que le modèle génère avec précision une recette de « fromage aubergine », mais je ne sais pas si elle a bon goût ou pas.
Cependant, lorsque nous l'avons essayé, nous avons également constaté que ce modèle présentait parfois des bugs.
Par exemple, parfois, il ne « comprend pas très bien la parole humaine ».
Demandé de produire un contenu mixte chinois et anglais, il fera semblant de ne pas comprendre et affichera en anglais :
Photos
Lorsque un mélange de chinois et d'anglais lui a demandé d'écouter "Taylor Swift's Red", le modèle a eu un sérieux erreur et j'ai continué à afficher à plusieurs reprises la même phrase, même incapable de m'arrêter...
Photos
Dans l'ensemble, face à des questions ou des demandes mélangées en chinois et en anglais, la capacité de sortie du modèle n'est toujours pas très bonne.
Mais s'il est séparé, sa capacité à exprimer le chinois et l'anglais est toujours bonne.
Alors, comment un tel modèle est-il mis en œuvre ?
Quel nouveau modèle as-tu réalisé ?
À en juger par l'essai, LLaSM a deux fonctionnalités principales : l'une consiste à prendre en charge la saisie en chinois et en anglais, et l'autre est la double saisie vocale et textuelle.
Pour atteindre ces deux points, nous devons apporter quelques ajustements respectivement à l'architecture et aux données de formation.
Architecturalement, LLaSM intègre le modèle de reconnaissance vocale actuel et le grand modèle de langage.
LLaSM se compose de trois parties, dont le modèle de reconnaissance vocale automatique Whisper, l'adaptateur modal et le grand modèle LLaMA.
Dans ce processus, Whisper est responsable de la réception de l'entrée vocale originale et de la sortie d'une représentation vectorielle des caractéristiques vocales. Le rôle de l'adaptateur modal est d'aligner les intégrations de parole et de texte. LLaMA est chargée de comprendre les instructions de saisie vocale et textuelle et de générer des réponses
images
La formation du modèle est divisée en deux étapes. La première étape consiste à entraîner l'adaptateur de modalité, où l'encodeur et le grand modèle sont gelés, permettant au modèle d'apprendre l'alignement de la parole et du texte. La deuxième étape consiste à geler l'encodeur, à entraîner des adaptateurs modaux et de grands modèles pour améliorer les capacités de dialogue multimodal du modèle.
Sur les données d'entraînement, les chercheurs ont compilé une collection de 199 000 dialogues et 508 000 échantillons de texte vocal. L'ensemble de données LLaSM -Instructions audio.
Parmi les 508 000 échantillons de texte vocal, 80 000 sont des échantillons de discours chinois, tandis que 428 000 sont des échantillons de discours anglais
Les chercheurs se sont principalement basés sur des ensembles de données tels que WizardLM, ShareGPT et GPT-4-LLM, via la synthèse vocale La technologie génère des paquets vocaux pour ces ensembles de données tout en filtrant les conversations invalides.
Photos
Il s'agit actuellement de la plus grande commande de texte vocal en chinois et en anglais suivant l'ensemble de données, mais elle est toujours en cours de tri. Selon les chercheurs, elle sera open source une fois triée.
Cependant, il n'existe actuellement aucune comparaison des effets de sortie de cet article avec d'autres modèles de parole ou de texte
Introduction à l'auteur
Les auteurs de cet article proviennent de LinkSoul.AI, de l'Université de Pékin et de Zero One Thing
Les co-auteurs Yu Shu et Siwei Dong viennent tous deux de LinkSoul.AI et ont déjà travaillé à l'Institut de recherche sur l'intelligence artificielle Zhiyuan de Pékin.
LinkSoul.AI est une startup d'IA qui a déjà lancé le premier grand modèle open source Llama 2 en langue chinoise.
Photos
En tant que grande société de mannequins appartenant à Kai-fu Lee, Zero One et One World ont également contribué à cette recherche. La page Hugging Face de l'auteur Wenhao Huang montre qu'il est diplômé de l'Université de Fudan.
Photos
Adresse papier :
https://www.php.cn/link/47c917b09f2bc64b2916c0824c715923
Adresse de démonstration :
https://www.php.cn/link/ bcd 0049c35799cdf57d06eaf2eb3cff6
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo.
May 07, 2024 pm 04:13 PM
Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale
L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao
Apr 09, 2024 am 11:52 AM
L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.
Google est ravi : les performances de JAX surpassent Pytorch et TensorFlow ! Cela pourrait devenir le choix le plus rapide pour la formation à l'inférence GPU
Apr 01, 2024 pm 07:46 PM
Les performances de JAX, promu par Google, ont dépassé celles de Pytorch et TensorFlow lors de récents tests de référence, se classant au premier rang sur 7 indicateurs. Et le test n’a pas été fait sur le TPU présentant les meilleures performances JAX. Bien que parmi les développeurs, Pytorch soit toujours plus populaire que Tensorflow. Mais à l’avenir, des modèles plus volumineux seront peut-être formés et exécutés sur la base de la plate-forme JAX. Modèles Récemment, l'équipe Keras a comparé trois backends (TensorFlow, JAX, PyTorch) avec l'implémentation native de PyTorch et Keras2 avec TensorFlow. Premièrement, ils sélectionnent un ensemble de
Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle
KAN, qui remplace MLP, a été étendu à la convolution par des projets open source
Jun 01, 2024 pm 10:03 PM
Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a
Nouveaux travaux sur la prédiction de séries chronologiques + grand modèle NLP : générer automatiquement des invites implicites pour la prédiction de séries chronologiques
Mar 18, 2024 am 09:20 AM
Aujourd'hui, j'aimerais partager un travail de recherche récent de l'Université du Connecticut qui propose une méthode pour aligner les données de séries chronologiques avec de grands modèles de traitement du langage naturel (NLP) sur l'espace latent afin d'améliorer les performances de prévision des séries chronologiques. La clé de cette méthode consiste à utiliser des indices spatiaux latents (invites) pour améliorer la précision des prévisions de séries chronologiques. Titre de l'article : S2IP-LLM : SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting Adresse de téléchargement : https://arxiv.org/pdf/2403.05798v1.pdf 1. Modèle de fond de problème important
Les robots Tesla travaillent dans les usines, Musk : Le degré de liberté des mains atteindra 22 cette année !
May 06, 2024 pm 04:13 PM
La dernière vidéo du robot Optimus de Tesla est sortie, et il peut déjà fonctionner en usine. À vitesse normale, il trie les batteries (les batteries 4680 de Tesla) comme ceci : Le responsable a également publié à quoi cela ressemble à une vitesse 20 fois supérieure - sur un petit "poste de travail", en sélectionnant et en sélectionnant et en sélectionnant : Cette fois, il est publié L'un des points forts de la vidéo est qu'Optimus réalise ce travail en usine, de manière totalement autonome, sans intervention humaine tout au long du processus. Et du point de vue d'Optimus, il peut également récupérer et placer la batterie tordue, en se concentrant sur la correction automatique des erreurs : concernant la main d'Optimus, le scientifique de NVIDIA Jim Fan a donné une évaluation élevée : la main d'Optimus est l'un des robots à cinq doigts du monde. le plus adroit. Ses mains ne sont pas seulement tactiles
FisheyeDetNet : le premier algorithme de détection de cible basé sur une caméra fisheye
Apr 26, 2024 am 11:37 AM
La détection de cibles est un problème relativement mature dans les systèmes de conduite autonome, parmi lesquels la détection des piétons est l'un des premiers algorithmes à être déployés. Des recherches très complètes ont été menées dans la plupart des articles. Cependant, la perception de la distance à l’aide de caméras fisheye pour une vue panoramique est relativement moins étudiée. En raison de la distorsion radiale importante, la représentation standard du cadre de délimitation est difficile à mettre en œuvre dans les caméras fisheye. Pour alléger la description ci-dessus, nous explorons les conceptions étendues de boîtes englobantes, d'ellipses et de polygones généraux dans des représentations polaires/angulaires et définissons une métrique de segmentation d'instance mIOU pour analyser ces représentations. Le modèle fisheyeDetNet proposé avec une forme polygonale surpasse les autres modèles et atteint simultanément 49,5 % de mAP sur l'ensemble de données de la caméra fisheye Valeo pour la conduite autonome.
