NVIDIA的LLAMA-MESH：帶有示例的指南

Nvidia的開創性Llama-Mesh模型彌合了文本和3D網格生成之間的差距。 這種創新模型允許用戶從簡單的文本描述中創建3D網格，並相反，從其3D網格數據中識別對象。這代表了機器學習的重大飛躍，通過增強3D空間理解，使我們更接近實現人工通用智能（AGI）。 專業人士和業餘愛好者都會發現駱駝 - 網格是一項寶貴的資產，簡化了諸如Blender之類的應用程序中的3D建模工作流程。

。

本指南通過實踐示例探討了駱駝 - 網格的能力，既強調其潛力和局限性。

>什麼是Llama-mesh？

由NVIDIA開發的 Llama-Mesh將大語言模型（LLMS）的力量擴展到3D領域。 與以前的模型不同，它無縫地集成了文本和3D數據，從而可以使用自然語言提示來創建3D網格。 基於微調的Llama-3.1-8b-Instruct基礎，它使用基於文本的OBJ文件格式編碼3D網格數據。

>訪問Llama-Mesh

llama-mesh可以通過三種方式訪問​​：

>

本地執行（擁抱面）：

>通過擁抱的面孔存儲庫本地運行模型。
1. 攪拌器附加組件：
將模型用作攪拌器附加組件，以直接集成在軟件中。 > 在線演示（擁抱面）：
2. >> 在擁抱面平台上訪問方便的在線演示。
3. 在線演示的4096 toke限制與完整模型的8K令牌能力形成鮮明對比，強調了當地執行以利用其全部潛力。 演示的界面如下所示：>

設置Llama-mesh

本指南使用Google COLAB的A100 GPU運行時演示了運行Llama-Mesh。 相同的原則適用於具有足夠的計算資源的本地執行。 擁抱面積存儲庫提供了必要的代碼。 關鍵步驟包括導入庫，下載模型和令牌，設置

以及使用標準的擁抱面部工作流進行推理。 下面的代碼片段說明了該過程：

默認的超參數用於與在線演示的公平比較。

pad_token> llama-mesh示例

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "Zhengyi/LLaMA-Mesh"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto").cuda()

if tokenizer.pad_token_id is None:
    tokenizer.pad_token_id = tokenizer.eos_token_id

prompt = "Create a 3D model of an original designer chair."
inputs = tokenizer(prompt, return_tensors="pt", padding=True)
input_ids = inputs.input_ids.cuda()
output = model.generate(
    input_ids,
    attention_mask=inputs['attention_mask'],
    max_length=8000,
)

>增加複雜性的三個示例說明了Llama-Mesh的表現：>

>>示例1：椅子：

在線演示和Colab-run模型生成的椅子網格，但細節和現實主義的水平都不同。

>

• 在線演示輸出：
• colab輸出：

>>示例2：一個圓環：該模型即使有增加的上下文也很難準確地表示圓環的中心孔。

在線演示輸出：
• 
colab輸出：
• 
正確的圓環：
• 

>

>示例3：klein瓶：> colab輸出：

• 正確的klein瓶：
• 

這些示例顯示了Llama-Mesh在創意，簡單的設計中的力量，但其局限性以精確的幾何形狀和復雜的形狀。

結論

儘管處於早期階段，

以上是NVIDIA的LLAMA-MESH：帶有示例的指南的詳細內容。更多資訊請關注PHP中文網其他相關文章！