Maison Périphériques technologiques IA Comment OctopusV3, avec moins d'un milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Comment OctopusV3, avec moins d'un milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

May 02, 2024 pm 04:01 PM
理论

Les systèmes d'IA multimodaux se caractérisent par leur capacité à traiter et à apprendre divers types de données, notamment le langage naturel, la vision, l'audio, etc., pour guider leurs décisions comportementales. Récemment, la recherche sur l'intégration de données visuelles dans de grands modèles de langage (tels que GPT-4V) a réalisé des progrès importants, mais la manière de convertir efficacement les informations d'image en opérations exécutables pour les systèmes d'IA reste confrontée à des défis. Afin de réaliser la transformation des informations d'image, une méthode courante consiste à convertir les données d'image en descriptions textuelles correspondantes, puis le système d'IA fonctionne sur la base des descriptions. Cela peut être fait en effectuant un apprentissage supervisé sur des ensembles de données d'images existants, permettant au système d'IA d'apprendre automatiquement la relation de mappage image-texte. De plus, les méthodes d’apprentissage par renforcement peuvent également être utilisées pour apprendre à prendre des décisions basées sur des informations d’image en interagissant avec l’environnement. Une autre méthode consiste à combiner directement les informations d'image avec un modèle de langage pour construire

Dans un article récent, des chercheurs ont proposé un modèle multimodal conçu spécifiquement pour les applications d'IA, introduisant le concept de « jeton fonctionnel ».

  • Titre de l'article : Octopus v3 : Rapport technique pour un agent d'IA multimodal d'un milliard d'euros sur appareil

  • Lien de l'article : https://arxiv.org/pdf/2404.11459.pdf

  • Poids et inférence des modèles Code : https://www.nexa4ai.com/apply

Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Ce modèle peut entièrement prendre en charge les appareils de pointe, et les chercheurs ont optimisé son nombre de paramètres à moins d'un milliard. Semblable au GPT-4, ce modèle peut gérer à la fois l’anglais et le chinois. Des expériences ont prouvé que le modèle peut fonctionner efficacement sur divers terminaux aux ressources limitées, notamment le Raspberry Pi.

Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?
Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?
Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Contexte de recherche

Le développement rapide de la technologie de l'intelligence artificielle a complètement changé la façon dont se produisent les interactions homme-machine, donnant naissance à un certain nombre de systèmes d'IA intelligents capables d'effectuer des tâches complexes et de prendre des décisions basées sur diverses formes d'entrée telles que le langage naturel et la vision. Ces systèmes devraient tout automatiser, depuis des tâches simples telles que la reconnaissance d'images et la traduction linguistique jusqu'à des applications complexes telles que le diagnostic médical et la conduite autonome. Les modèles linguistiques multimodaux sont au cœur de ces systèmes intelligents, leur permettant de comprendre et de générer des réponses quasi humaines en traitant et en intégrant des données multimodales telles que du texte, des images et même de l'audio et de la vidéo. Par rapport aux modèles linguistiques traditionnels qui se concentrent principalement sur le traitement et la génération de texte, les modèles linguistiques multimodaux constituent un grand pas en avant. En incorporant des informations visuelles, ces modèles sont capables de mieux comprendre le contexte et la sémantique des données d'entrée, ce qui donne lieu à une sortie plus précise et pertinente. La capacité de traiter et d'intégrer des données multimodales est cruciale pour développer des systèmes d'IA multimodaux capables de comprendre simultanément des tâches telles que le langage et les informations visuelles, telles que la réponse visuelle aux questions, la navigation dans les images, l'analyse des sentiments multimodaux, etc.

L'un des défis du développement de modèles linguistiques multimodaux est de savoir comment encoder efficacement les informations visuelles dans un format que le modèle peut traiter. Cela se fait généralement à l'aide d'architectures de réseaux neuronaux, telles que les transformateurs visuels (ViT) et les réseaux neuronaux convolutifs (CNN). La capacité d'extraire des caractéristiques hiérarchiques des images est largement utilisée dans les tâches de vision par ordinateur. En utilisant ces architectures comme modèles, on peut apprendre à extraire des représentations plus complexes à partir des données d'entrée. De plus, l'architecture basée sur un transformateur est non seulement capable de capturer les dépendances à longue distance, mais excelle également dans la compréhension des relations entre les objets dans les images. Très populaire ces dernières années. Ces architectures permettent aux modèles d'extraire des caractéristiques significatives des images d'entrée et de les convertir en représentations vectorielles pouvant être combinées avec la saisie de texte.

Une autre façon d'encoder des informations visuelles est la tokenisation d'image, qui consiste à diviser l'image en unités discrètes ou jetons plus petites. Cette approche permet au modèle de traiter les images de la même manière que le texte, permettant une intégration plus transparente des deux modalités. Les informations sur les jetons d'image peuvent être introduites dans le modèle avec la saisie de texte, ce qui lui permet de se concentrer sur les deux modalités et de produire une sortie plus précise et contextuelle. Par exemple, le modèle DALL-E développé par OpenAI utilise une variante de VQ-VAE (Vector Quantized Variational Autoencoder) pour symboliser les images, permettant au modèle de générer de nouvelles images basées sur des descriptions textuelles. Le développement de petits modèles efficaces capables d’agir sur les requêtes et les images fournies par les utilisateurs aura de profondes implications pour le développement futur des systèmes d’IA. Ces modèles peuvent être déployés sur des appareils aux ressources limitées tels que les smartphones et les appareils IoT, élargissant ainsi leur portée d'application et leurs scénarios. Tirant parti de la puissance des modèles de langage multimodaux, ces petits systèmes peuvent comprendre et répondre aux requêtes des utilisateurs de manière plus naturelle et intuitive, tout en prenant en compte le contexte visuel fourni par l'utilisateur. Cela ouvre la possibilité d’interactions homme-machine plus engageantes et personnalisées, telles que des assistants virtuels qui fournissent des recommandations visuelles basées sur les préférences de l’utilisateur, ou des appareils domestiques intelligents qui ajustent les paramètres en fonction des expressions faciales de l’utilisateur.

En outre, le développement de systèmes d’IA multimodaux devrait démocratiser la technologie de l’intelligence artificielle, bénéficiant ainsi à un plus large éventail d’utilisateurs et d’industries. Des modèles plus petits et plus efficaces peuvent être formés sur du matériel doté d'une puissance de calcul plus faible, réduisant ainsi les ressources informatiques et la consommation d'énergie nécessaires au déploiement. Cela pourrait conduire à une application généralisée des systèmes d’IA dans divers domaines tels que les soins médicaux, l’éducation, le divertissement, le commerce électronique, etc., modifiant ainsi la façon dont les gens vivent et travaillent.

Travail connexe

Les modèles multimodaux ont attiré beaucoup d'attention en raison de leur capacité à traiter et à apprendre plusieurs types de données tels que le texte, les images, l'audio, etc. Ce type de modèle peut capturer les interactions complexes entre différentes modalités et utiliser leurs informations complémentaires pour améliorer la performance de diverses tâches. Les modèles Vision-Language Pre-trained (VLP) tels que ViLBERT, LXMERT, VisualBERT, etc. apprennent l'alignement des fonctionnalités visuelles et textuelles grâce à une attention intermodale pour générer de riches représentations multimodales. Les architectures de transformateurs multimodaux telles que MMT, ViLT, etc. ont amélioré les transformateurs pour gérer efficacement plusieurs modalités. Les chercheurs ont également essayé d'incorporer d'autres modalités telles que les expressions audio et faciales dans les modèles, tels que les modèles d'analyse multimodale des sentiments (MSA), les modèles de reconnaissance multimodale des émotions (MER), etc. En utilisant les informations complémentaires de différentes modalités, les modèles multimodaux atteignent de meilleures performances et capacités de généralisation que les méthodes monomodales.

Les modèles de langage de terminal sont définis comme des modèles comportant moins de 7 milliards de paramètres, car les chercheurs ont découvert que même avec la quantification, il est très difficile d'exécuter un modèle de 13 milliards de paramètres sur des appareils de pointe. Les avancées récentes dans ce domaine incluent les Gemma 2B et 7B de Google, le Stable Code 3B de Stable Diffusion et le Llama 7B de Meta. Il est intéressant de noter que les recherches de Meta montrent que, contrairement aux grands modèles de langage, les petits modèles de langage fonctionnent mieux avec des architectures profondes et étroites. D'autres techniques bénéfiques pour le modèle de terminal incluent le partage intégré, l'attention aux requêtes groupées et le partage instantané du poids des blocs proposé dans MobileLLM. Ces résultats mettent en évidence la nécessité de prendre en compte des méthodes d'optimisation et des stratégies de conception différentes lors du développement de petits modèles de langage pour les applications finales plutôt que pour les grands modèles.

Méthode Octopus

La principale technologie utilisée dans le développement du modèle Octopus v3. Deux aspects clés du développement de modèles multimodaux consistent à intégrer les informations d'image à la saisie de texte et à optimiser la capacité du modèle à prédire les actions.

Encodage des informations visuelles

Il existe de nombreuses méthodes de codage des informations visuelles dans le traitement d'images, et l'intégration de couches cachées est couramment utilisée. Par exemple, l'intégration de couches cachées du modèle VGG-16 est utilisée pour les tâches de transfert de style. Le modèle CLIP d'OpenAI démontre la capacité d'aligner l'intégration de texte et d'images, en tirant parti de son encodeur d'image pour intégrer des images. Des méthodes telles que ViT utilisent des technologies plus avancées telles que la tokenisation d'images. Les chercheurs ont évalué diverses techniques de codage d’images et ont découvert que la méthode du modèle CLIP était la plus efficace. Par conséquent, cet article utilise un modèle basé sur CLIP pour le codage d’images.

Jeton fonctionnel

Semblable à la tokenisation appliquée au langage naturel et aux images, des fonctions spécifiques peuvent également être encapsulées sous forme de jetons fonctionnels. Les chercheurs ont introduit une stratégie de formation pour ces jetons, s'appuyant sur la technologie des modèles de langage naturel pour traiter des mots invisibles. Cette méthode est similaire à word2vec et enrichit la sémantique du token grâce à son contexte. Par exemple, les modèles de langage de haut niveau peuvent initialement avoir des difficultés avec des termes chimiques complexes tels que PEGylation et Endosomal Escape. Mais grâce à la modélisation causale du langage, notamment en s’entraînant sur un ensemble de données contenant ces termes, le modèle peut apprendre ces termes. De même, les jetons fonctionnels peuvent également être appris via des stratégies parallèles, le modèle Octopus v2 fournissant une plate-forme puissante pour de tels processus d'apprentissage. La recherche montre que l’espace de définition des jetons fonctionnels est infini, permettant à n’importe quelle fonction spécifique d’être représentée sous forme de jeton.

Formation en plusieurs étapes

Pour développer un système d'IA multimodal haute performance, les chercheurs ont adopté une architecture de modèle qui intègre des modèles de langage causal et des encodeurs d'images. Le processus de formation de ce modèle est divisé en plusieurs étapes. Premièrement, le modèle de langage causal et l’encodeur d’image sont formés séparément pour établir un modèle de base. Par la suite, les deux composants sont fusionnés, alignés et entraînés pour synchroniser les capacités de traitement d'image et de texte. Sur cette base, la méthode d’Octopus v2 est utilisée pour favoriser l’apprentissage des tokens fonctionnels. Dans la phase finale de formation, ces jetons fonctionnels qui interagissent avec l'environnement fournissent des commentaires pour une optimisation ultérieure du modèle. Par conséquent, dans la phase finale, les chercheurs ont adopté l’apprentissage par renforcement et ont sélectionné un autre grand modèle de langage comme modèle de récompense. Cette méthode de formation itérative améliore la capacité du modèle à traiter et à intégrer des informations multimodales.

Évaluation du modèle

Cette section présente les résultats expérimentaux du modèle et les compare aux effets de l'intégration des modèles GPT-4V et GPT-4. Dans l’expérience comparative, les chercheurs ont d’abord utilisé GPT-4V (gpt-4-turbo) pour traiter les informations d’image. Les données extraites sont ensuite introduites dans le framework GPT-4 (gpt-4-turbo-preview), qui contextualise toutes les descriptions de fonctions et applique un apprentissage en quelques étapes pour améliorer les performances. Dans la démonstration, les chercheurs ont converti 10 API de smartphone couramment utilisées en jetons fonctionnels et ont évalué leurs performances, comme détaillé dans les sections suivantes.

Il convient de noter que bien que cet article ne montre que 10 jetons fonctionnels, le modèle peut entraîner davantage de jetons pour créer un système d'IA plus général. Les chercheurs ont découvert que pour certaines API, les modèles comportant moins d’un milliard de paramètres fonctionnaient comme une IA multimodale comparable à la combinaison de GPT-4V et GPT-4.

De plus, l'évolutivité de ce modèle permet l'inclusion d'une large gamme de jetons fonctionnels, permettant la création de systèmes d'IA hautement spécialisés adaptés à des domaines ou à des scénarios spécifiques. Cette adaptabilité rend notre approche particulièrement précieuse dans des secteurs tels que la santé, la finance et le service client, où les solutions basées sur l'IA peuvent améliorer considérablement l'efficacité et l'expérience utilisateur.

Parmi tous les noms de fonctions ci-dessous, Octopus ne génère que des jetons fonctionnels tels que ,...,. Le chercheur a remplacé les jetons fonctionnels par les noms de fonctions correspondants pour une meilleure démonstration. Tous les résultats ci-dessous sont générés directement sans aucun analyseur de sortie. Octopus v3 est un modèle unique capable de gérer à la fois le chinois et l'anglais, ce qui signifie qu'il n'est pas nécessaire de former spécifiquement un autre modèle chinois.

Envoyer un e-mail

Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Envoyer un SMS

Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Recherche Google

Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Amazon Shopping

Recyclage intelligentComment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Perdu et Trouvé Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Design d'intérieurComment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Instacart Shopping

Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Livraison DoorDash

Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Soins des animaux

Comment OctopusV3, avec moins dun milliard de paramètres, peut-il se comparer à GPT-4V et GPT-4 ?

Impact social

Basé sur Octopus v2, le modèle mis à jour intègre des informations textuelles et visuelles , une avancée significative par rapport à son prédécesseur, l’approche textuelle uniquement. Cette avancée significative permet le traitement simultané de données visuelles et en langage naturel, ouvrant la voie à des applications plus larges. Le jeton fonctionnel introduit dans Octopus v2 peut être adapté à plusieurs domaines, tels que les industries médicale et automobile. Avec l'ajout de données visuelles, le potentiel des jetons fonctionnels s'étend à des domaines tels que la conduite autonome et la robotique. De plus, le modèle multimodal présenté dans cet article permet de transformer réellement des appareils tels que Raspberry Pi en matériel intelligent tel que Rabbit R1 et Humane AI Pin, en utilisant un modèle de point final plutôt qu'une solution basée sur le cloud.

Le jeton fonctionnel est actuellement autorisé. Le chercheur encourage les développeurs à participer dans le cadre de cet article et à innover librement sous réserve de respecter l'accord de licence. Dans les recherches futures, les chercheurs visent à développer un cadre de formation pouvant accueillir des modalités de données supplémentaires telles que l’audio et la vidéo. De plus, les chercheurs ont découvert que les entrées visuelles peuvent entraîner une latence considérable et optimisent actuellement la vitesse d’inférence.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Repoussant les limites de la détection de défauts traditionnelle, « Defect Spectrum » permet pour la première fois une détection de défauts industriels d'une ultra haute précision et d'une sémantique riche. Repoussant les limites de la détection de défauts traditionnelle, « Defect Spectrum » permet pour la première fois une détection de défauts industriels d'une ultra haute précision et d'une sémantique riche. Jul 26, 2024 pm 05:38 PM

Dans la fabrication moderne, une détection précise des défauts est non seulement la clé pour garantir la qualité des produits, mais également la clé de l’amélioration de l’efficacité de la production. Cependant, les ensembles de données de détection de défauts existants manquent souvent de précision et de richesse sémantique requises pour les applications pratiques, ce qui rend les modèles incapables d'identifier des catégories ou des emplacements de défauts spécifiques. Afin de résoudre ce problème, une équipe de recherche de premier plan composée de l'Université des sciences et technologies de Hong Kong, Guangzhou et de Simou Technology a développé de manière innovante l'ensemble de données « DefectSpectrum », qui fournit une annotation à grande échelle détaillée et sémantiquement riche des défauts industriels. Comme le montre le tableau 1, par rapport à d'autres ensembles de données industrielles, l'ensemble de données « DefectSpectrum » fournit le plus grand nombre d'annotations de défauts (5 438 échantillons de défauts) et la classification de défauts la plus détaillée (125 catégories de défauts).

Le modèle de dialogue NVIDIA ChatQA a évolué vers la version 2.0, avec la longueur du contexte mentionnée à 128 Ko Le modèle de dialogue NVIDIA ChatQA a évolué vers la version 2.0, avec la longueur du contexte mentionnée à 128 Ko Jul 26, 2024 am 08:40 AM

La communauté ouverte LLM est une époque où une centaine de fleurs fleurissent et s'affrontent. Vous pouvez voir Llama-3-70B-Instruct, QWen2-72B-Instruct, Nemotron-4-340B-Instruct, Mixtral-8x22BInstruct-v0.1 et bien d'autres. excellents interprètes. Cependant, par rapport aux grands modèles propriétaires représentés par le GPT-4-Turbo, les modèles ouverts présentent encore des lacunes importantes dans de nombreux domaines. En plus des modèles généraux, certains modèles ouverts spécialisés dans des domaines clés ont été développés, tels que DeepSeek-Coder-V2 pour la programmation et les mathématiques, et InternVL pour les tâches de langage visuel.

Google AI a remporté la médaille d'argent de l'Olympiade mathématique de l'OMI, le modèle de raisonnement mathématique AlphaProof a été lancé et l'apprentissage par renforcement est de retour. Google AI a remporté la médaille d'argent de l'Olympiade mathématique de l'OMI, le modèle de raisonnement mathématique AlphaProof a été lancé et l'apprentissage par renforcement est de retour. Jul 26, 2024 pm 02:40 PM

Pour l’IA, l’Olympiade mathématique n’est plus un problème. Jeudi, l'intelligence artificielle de Google DeepMind a réalisé un exploit : utiliser l'IA pour résoudre la vraie question de l'Olympiade mathématique internationale de cette année, l'OMI, et elle n'était qu'à un pas de remporter la médaille d'or. Le concours de l'OMI qui vient de se terminer la semaine dernière comportait six questions portant sur l'algèbre, la combinatoire, la géométrie et la théorie des nombres. Le système d'IA hybride proposé par Google a répondu correctement à quatre questions et a marqué 28 points, atteignant le niveau de la médaille d'argent. Plus tôt ce mois-ci, le professeur titulaire de l'UCLA, Terence Tao, venait de promouvoir l'Olympiade mathématique de l'IA (AIMO Progress Award) avec un prix d'un million de dollars. De manière inattendue, le niveau de résolution de problèmes d'IA s'était amélioré à ce niveau avant juillet. Posez les questions simultanément sur l'OMI. La chose la plus difficile à faire correctement est l'OMI, qui a la plus longue histoire, la plus grande échelle et la plus négative.

Afin de fournir un nouveau système de référence et d'évaluation de questions-réponses scientifiques et complexes pour les grands modèles, l'UNSW, Argonne, l'Université de Chicago et d'autres institutions ont lancé conjointement le cadre SciQAG. Afin de fournir un nouveau système de référence et d'évaluation de questions-réponses scientifiques et complexes pour les grands modèles, l'UNSW, Argonne, l'Université de Chicago et d'autres institutions ont lancé conjointement le cadre SciQAG. Jul 25, 2024 am 06:42 AM

L'ensemble de données ScienceAI Question Answering (QA) joue un rôle essentiel dans la promotion de la recherche sur le traitement du langage naturel (NLP). Des ensembles de données d'assurance qualité de haute qualité peuvent non seulement être utilisés pour affiner les modèles, mais également évaluer efficacement les capacités des grands modèles linguistiques (LLM), en particulier la capacité à comprendre et à raisonner sur les connaissances scientifiques. Bien qu’il existe actuellement de nombreux ensembles de données scientifiques d’assurance qualité couvrant la médecine, la chimie, la biologie et d’autres domaines, ces ensembles de données présentent encore certaines lacunes. Premièrement, le formulaire de données est relativement simple, et la plupart sont des questions à choix multiples. Elles sont faciles à évaluer, mais limitent la plage de sélection des réponses du modèle et ne peuvent pas tester pleinement la capacité du modèle à répondre aux questions scientifiques. En revanche, les questions et réponses ouvertes

Le point de vue de la nature : les tests de l'intelligence artificielle en médecine sont dans le chaos. Que faut-il faire ? Le point de vue de la nature : les tests de l'intelligence artificielle en médecine sont dans le chaos. Que faut-il faire ? Aug 22, 2024 pm 04:37 PM

Editeur | ScienceAI Sur la base de données cliniques limitées, des centaines d'algorithmes médicaux ont été approuvés. Les scientifiques se demandent qui devrait tester les outils et comment le faire au mieux. Devin Singh a vu un patient pédiatrique aux urgences subir un arrêt cardiaque alors qu'il attendait un traitement pendant une longue période, ce qui l'a incité à explorer l'application de l'IA pour réduire les temps d'attente. À l’aide des données de triage des salles d’urgence de SickKids, Singh et ses collègues ont construit une série de modèles d’IA pour fournir des diagnostics potentiels et recommander des tests. Une étude a montré que ces modèles peuvent accélérer les visites chez le médecin de 22,3 %, accélérant ainsi le traitement des résultats de près de 3 heures par patient nécessitant un examen médical. Cependant, le succès des algorithmes d’intelligence artificielle dans la recherche ne fait que le vérifier.

Formation avec des millions de données cristallines pour résoudre le problème de la phase cristallographique, la méthode d'apprentissage profond PhAI est publiée dans Science Formation avec des millions de données cristallines pour résoudre le problème de la phase cristallographique, la méthode d'apprentissage profond PhAI est publiée dans Science Aug 08, 2024 pm 09:22 PM

Editeur | KX À ce jour, les détails structurels et la précision déterminés par cristallographie, des métaux simples aux grandes protéines membranaires, sont inégalés par aucune autre méthode. Cependant, le plus grand défi, appelé problème de phase, reste la récupération des informations de phase à partir d'amplitudes déterminées expérimentalement. Des chercheurs de l'Université de Copenhague au Danemark ont ​​développé une méthode d'apprentissage en profondeur appelée PhAI pour résoudre les problèmes de phase cristalline. Un réseau neuronal d'apprentissage en profondeur formé à l'aide de millions de structures cristallines artificielles et de leurs données de diffraction synthétique correspondantes peut générer des cartes précises de densité électronique. L'étude montre que cette méthode de solution structurelle ab initio basée sur l'apprentissage profond peut résoudre le problème de phase avec une résolution de seulement 2 Angströms, ce qui équivaut à seulement 10 à 20 % des données disponibles à la résolution atomique, alors que le calcul ab initio traditionnel

Les performances de SOTA, la méthode d'IA de prédiction d'affinité protéine-ligand multimodale de Xiamen, combinent pour la première fois des informations sur la surface moléculaire Les performances de SOTA, la méthode d'IA de prédiction d'affinité protéine-ligand multimodale de Xiamen, combinent pour la première fois des informations sur la surface moléculaire Jul 17, 2024 pm 06:37 PM

Editeur | KX Dans le domaine de la recherche et du développement de médicaments, il est crucial de prédire avec précision et efficacité l'affinité de liaison des protéines et des ligands pour le criblage et l'optimisation des médicaments. Cependant, les études actuelles ne prennent pas en compte le rôle important des informations sur la surface moléculaire dans les interactions protéine-ligand. Sur cette base, des chercheurs de l'Université de Xiamen ont proposé un nouveau cadre d'extraction de caractéristiques multimodales (MFE), qui combine pour la première fois des informations sur la surface des protéines, la structure et la séquence 3D, et utilise un mécanisme d'attention croisée pour comparer différentes modalités. alignement. Les résultats expérimentaux démontrent que cette méthode atteint des performances de pointe dans la prédiction des affinités de liaison protéine-ligand. De plus, les études d’ablation démontrent l’efficacité et la nécessité des informations sur la surface des protéines et de l’alignement des caractéristiques multimodales dans ce cadre. Les recherches connexes commencent par "S

Couvrant les tâches de texte, de positionnement et de segmentation, Zhiyuan et les Chinois de Hong Kong ont proposé conjointement le premier grand modèle médical multimodal 3D multifonctionnel Couvrant les tâches de texte, de positionnement et de segmentation, Zhiyuan et les Chinois de Hong Kong ont proposé conjointement le premier grand modèle médical multimodal 3D multifonctionnel Jun 22, 2024 am 07:16 AM

Auteur | Rédacteur Bai Fan, Université chinoise de Hong Kong | ScienceAI Récemment, l'Université chinoise de Hong Kong et Zhiyuan ont proposé conjointement la série de travaux M3D, comprenant M3D-Data, M3D-LaMed et M3D-Bench, pour promouvoir les images médicales 3D. de tous les aspects des ensembles de données, des modèles et des évaluations. Développement d'analyses. (1) M3D-Data est actuellement le plus grand ensemble de données d'images médicales 3D, comprenant M3D-Cap (120 000 paires d'images et de textes 3D), M3D-VQA (510 000 paires de questions et réponses), M3D-Seg (150 000 paires de masques 3D), M3D-RefSeg ( Segmentation d'inférence 3K) au total quatre sous-ensembles de données. (2) M3D-LaMed est actuellement le grand modèle médical multimodal 3D le plus polyvalent pouvant

See all articles