Nvidia & # x27; s Lama-Mesh: un guide avec des exemples

Le modèle révolutionnaire de Maux de lama révolutionnaire comble l'écart entre le texte et la génération de maillage 3D. Ce modèle innovant permet aux utilisateurs de créer des maillages 3D à partir de descriptions de texte simples et à l'inverse, d'identifier des objets à partir de leurs données de maillage 3D. Cela représente un bond en avant dans l'apprentissage automatique, nous rapprochant de la réalisation de l'intelligence générale artificielle (AGI) en améliorant la compréhension spatiale 3D. Les professionnels et les amateurs trouveront LLAMA-Mesh un atout précieux, rationalisant des workflows de modélisation 3D dans des applications comme Blender.

Ce guide explore les capacités de Llama-Mesh à travers des exemples pratiques, mettant en évidence à la fois son potentiel et ses limites.

Qu'est-ce que Llama-Mesh?

LLAMA-MESH, développé par NVIDIA, étend la puissance des modèles de gros langues (LLM) dans le domaine 3D. Contrairement aux modèles précédents, il intègre de manière transparente des données de texte et 3D, permettant la création de maillage 3D à l'aide d'invites en langage naturel. Construit sur une base LLAMA-3.1-8B-8B à réglage fin, il code les données de maillage 3D à l'aide du format de fichier OBJ basé sur le texte.

Accéder à Llama-Mesh

LLAMA MAISH est accessible de trois manières:

1. Exécution locale (face étreinte): Exécutez le modèle localement via le référentiel de visage étreint.
2. Add-on Blender: Utilisez le modèle en tant que complément de mélangeur pour l'intégration directe dans le logiciel.
3. Demo en ligne (visage étreint): Accédez à une démo en ligne pratique sur la plate-forme de visage étreint.

La limite de la démo en ligne 4096 contraste avec la capacité de jeton 8K du modèle complet, soulignant la nécessité d'une exécution locale pour exploiter son plein potentiel. L'interface de la démo est illustrée ci-dessous:

Configuration de Llama-Mesh

Ce guide démontre l'exécution de Llama-Mesh à l'aide de l'exécution du GPU A100 de Google Colab. Les mêmes principes s'appliquent à l'exécution locale avec des ressources informatiques suffisantes. Le référentiel de face étreint fournit le code nécessaire. Les étapes clés incluent l'importation de bibliothèques, le téléchargement du modèle et du tokenizer, la définition du pad_token et l'utilisation de workflows standard pour les câlins pour l'inférence. Les extraits de code ci-dessous illustrent le processus:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Zhengyi/LLaMA-Mesh"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto").cuda()

if tokenizer.pad_token_id is None:
    tokenizer.pad_token_id = tokenizer.eos_token_id

prompt = "Create a 3D model of an original designer chair."
inputs = tokenizer(prompt, return_tensors="pt", padding=True)
input_ids = inputs.input_ids.cuda()
output = model.generate(
    input_ids,
    attention_mask=inputs['attention_mask'],
    max_length=8000,
)

Les hyperparamètres par défaut sont utilisés pour une comparaison équitable avec la démo en ligne.

Exemples de maillage llama

Trois exemples de complexité croissante illustrent les performances de Llama-Mesh:

• Exemple 1: Une chaise: à la fois la démo en ligne et le modèle de Colab géré par le modèle, mais avec différents niveaux de détail et de réalisme.

  • Sortie de démonstration en ligne:
  • Sortie colab:

• Exemple 2: A Torus: Le modèle a eu du mal à représenter avec précision le trou central du Torus, même avec un contexte accru.

  • Sortie de démonstration en ligne:
  • Sortie colab:
  • Correction du tore:

• Exemple 3: Bouteille Klein: La démo en ligne n'a pas réussi à générer un maillage, tandis que la version Colab a produit un résultat loin de la géométrie correcte.

  • Sortie colab:
  • Bouteille Klein correcte:

Ces exemples montrent la force de Llama-Mesh dans les conceptions créatives et simples mais ses limites avec des formes géométriques et complexes précises.

Conclusion

LLAMA MAISH, en dépit de ses premiers stades, démontre un potentiel significatif de génération rapide de maillage 3D. Les améliorations futures pourraient aborder les limites de la gestion des géométries complexes et élargir la compatibilité avec les technologies d'impression 3D.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!