Molmo et pixmo en profondeur avec expérimentation pratique

MOLMO: un modèle de langue de vision ouverte construit sur des ensembles de données ouverts de haute qualité

La domination des modèles propriétaires et en langue de vision (VLMS) entrave la recherche ouverte. Les alternatives open source sont souvent à la traîne, en s'appuyant sur des données synthétiques générées par des modèles propriétaires, limitant la véritable ouverture. Molmo, un VLM sophistiqué, aborde cela en tirant parti des capacités multimodales de haute qualité formées exclusivement sur des ensembles de données ouverts et des méthodologies de formation indépendantes.

L'ensemble de données PIXMO qui l'accompagne est crucial pour le succès de Molmo. Il surmonte les limitations d'accessibilité des données en utilisant des annotations de parole humaines pour créer des paires détaillées de caption d'images. Cette approche donne des légendes riches et à haute densité, en évitant les limites inhérentes aux ensembles de données synthétiques.

L'architecture de Molmo est une conception multimodale standard: un encodeur de vision couplé à un modèle de langue.

Caractéristiques clés:

• Ensembles de données PIXMO: Foundation of Molmo's Performance.
• Architecture:
  • Pré-processeur d'image: génère des sections d'images multi-échelles multi-cultures.
  • Encodeur de vision: modèle de clip Vit-L / 14 336px d'Openai (choisi sur Siglip pour une manipulation multi-cultures supérieure).
  • Connecteur: Une projection basée sur MLP aligne des intégres d'image avec les dimensions du modèle de langue.
  • Transformateur de décodeur LLM: offre une flexibilité avec divers LLM (Olmo, Olmoe, Qwen2, Mistral).
• Formation: un processus en deux étapes:
  • Pré-formation multimodale: se concentre sur la génération de légendes à l'aide de pixmo-cap. Une approche à un étage évite les complexités des méthodes à plusieurs étages.
  • Affinement supervisé: utilise diverses tâches et ensembles de données (Pixmo-AskModeLanything, Pixmo Points, etc.). Repose sur des données de haute qualité, éliminant le besoin de RLHF.
• Évaluation: tests rigoureux dans 11 ensembles de données de référence et études sur les préférences humaines. Les résultats montrent que molmo compétitif avec des modèles propriétaires et parfois dépassés.

Détails de l'ensemble de données:

• Pixmo-Cap: plus de 712k images avec des légendes détaillées de 60 à 90 secondes descriptions de discours.
• Pixmo-AskModeLanything: paires de questions-réponses basées sur l'image.
• Pixmo Points: Annotations basées sur des points pour la compréhension spatiale.
• Autres ensembles de données: PixMOROCKS, PIXMO-DOCS, PIXMO-CAPQA.

Plongée profonde architecturale:

Le traitement d'image multi-échelles multiples améliore la compréhension du modèle du modèle par le modèle. Le choix de Clip sur Siglip est justifié par ses performances supérieures sur les données multi-cultures à haute résolution. Le connecteur MLP et la couche de mise en commun gèrent efficacement la dimensionnalité, assurant une communication efficace entre la vision et les composants du langage. Le transformateur LLM sur le décodeur permet la taille et les performances du modèle adaptables.

La pré-formation à un étage, alimentée par des données de haute qualité, s'avère efficace et efficace. Le réglage fin supervisé ultérieur sur diverses tâches affine encore les capacités du modèle. L'absence de RLHF est un choix délibéré, tirant parti de la richesse de l'ensemble de données PIXMO.

Les comparaisons de référence mettent en évidence les performances de Molmo contre d'autres VLM, notamment LLAVA, QWEN2-VL et Paligemma, présentant son avantage concurrentiel. Les tests de préférence humaine valident davantage sa convivialité.

Exemple pratique (abrégé):

Un guide pratique détaillé, y compris des exemples de code à l'aide d'un cahier Colab, montre comment charger le modèle, traiter les images et générer des sorties. L'exemple montre comment extraire des informations structurées à partir d'images, présentant l'adaptabilité de Molmo. Les techniques pour gérer de grandes images complexes en les divisant en patchs sont également explorées.

Conclusion:

Molmo représente une progression significative des VLMs open source. Son engagement envers des ensembles de données ouverts de haute qualité, une formation efficace et une architecture flexible le positionnent comme un outil puissant et polyvalent pour une large gamme de tâches de vision. L'explication détaillée et les exemples pratiques fournissent une compréhension complète de ses capacités.

Questions fréquemment posées (abrégée):

• Clip vs Siglip: la gestion supérieure de Clip des images multi-cultures et haute résolution est la principale raison de sa sélection.
• Avantages de l'ensemble de données: les données annotées par l'homme de Pixmo fournissent une compréhension visuelle plus riche et plus naturelle par rapport aux ensembles de données synthétiques.
• Personnalisation: La flexibilité de Molmo permet une adaptation à diverses tâches et types d'entrée via des invites personnalisées.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!