Microsoft lance le modèle LLaVA-Med AI pour analyser les cas de pathologie médicale

Selon l'actualité du 14 juin, des chercheurs de Microsoft ont récemment démontré le modèle LLaVA-Med, qui est principalement utilisé pour la recherche biomédicale et peut déduire les conditions pathologiques des patients sur la base de tomodensitométrie, d'images radiographiques, etc.

Il est rapporté que des chercheurs de Microsoft ont coopéré avec un groupe d'hôpitaux et obtenu un vaste ensemble de données correspondant au texte d'une image biomédicale pour former un modèle d'IA multimodal. L'ensemble de données comprend des radiographies pulmonaires, des IRM, des images histologiques, pathologiques et tomodensitométriques, etc., avec une couverture relativement complète.

▲ Source de l'image Microsoft

Microsoft utilise GPT-4, basé sur Vision Transformer et le modèle de langage Vicuna, sur huit NVIDIA LLaVA-Med est formé sur le GPU A100, qui contient « toutes les informations de pré-analyse pour chaque image » et est utilisé pour générer des questions et des réponses sur les images, répondant à la vision d'un assistant capable de « répondre aux questions sur les images biomédicales de manière naturelle ». langue."

Dans le processus d'apprentissage, le modèle se concentre principalement sur "la description du contenu de telles images" et "l'élaboration de concepts biomédicaux (Note de l'IT House : jugez à quoi cela ressemble sur la photo) " Et dépliez-vous. Selon Microsoft, le modèle possède en fin de compte « d'excellentes capacités de dialogue multimodal » et « sur trois ensembles de données biomédicales standards utilisés pour répondre à des questions visuelles, LLaVA-Med est en tête de l'industrie dans certains indicateurs ».

▲ Source de l'image Microsoft

L'équipe de recherche a déclaré : « Même si nous pensons que le modèle LLaVA-Med représente une étape vers la construction d'un assistant visuel biomédical utile, mais le modèle LLaVA-Med actuel présente encore certaines lacunes, à savoir les problèmes courants de faux exemples et de mauvaise précision dans les grands modèles. le modèle à l'avenir. et la fiabilité, afin que le modèle puisse un jour être appliqué en biomédecine commerciale. informations pertinentes sur GitHub#🎜 🎜#.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!