Molmo dan Pixmo yang menyelam dengan percubaan tangan

Molmo: Model bahasa penglihatan terbuka yang dibina di dataset terbuka berkualiti tinggi

Penguasaan model bahasa, visi besar (VLMs) yang berpandangan, menghalang penyelidikan terbuka. Alternatif sumber terbuka sering ketinggalan, bergantung kepada data sintetik yang dihasilkan oleh model proprietari, mengehadkan keterbukaan yang benar. Molmo, VLM yang canggih, menangani ini dengan memanfaatkan keupayaan multimodal berkualiti tinggi yang dilatih secara eksklusif pada dataset terbuka dan metodologi latihan bebas.

Dataset Pixmo yang disertakan adalah penting untuk kejayaan Molmo. Ia mengatasi batasan kebolehaksesan data dengan menggunakan anotasi ucapan manusia untuk membuat pasangan imej imej terperinci. Pendekatan ini menghasilkan kapsyen yang kaya dan berkepadatan tinggi, mengelakkan batasan yang wujud dalam dataset sintetik.

Senibina Molmo adalah reka bentuk multimodal standard: pengekod penglihatan ditambah dengan model bahasa.

Ciri -ciri utama:

• Dataset Pixmo: asas prestasi Molmo.
• Senibina:
  • Pra-pemproses imej: Menjana bahagian imej pelbagai skala, pelbagai tanaman.
  • Pengekod Visi: Model Klip Vit-L/14 336px OpenAI (dipilih melalui SIGLIP untuk pengendalian multi-tanaman yang unggul).
  • Penyambung: Unjuran berasaskan MLP menjajarkan embeddings imej dengan dimensi model bahasa.
  • Transformer Decoder-Only LLM: Menawarkan fleksibiliti dengan pelbagai LLM (Olmo, Olmoe, Qwen2, Mistral).
• Latihan: Proses dua peringkat:
  • Pra-latihan multimodal: memberi tumpuan kepada generasi kapsyen menggunakan pixmo-cap. Pendekatan satu peringkat mengelakkan kerumitan kaedah pelbagai peringkat.
  • Penalaan halus yang diselia: Menggunakan tugas dan dataset yang pelbagai (pixmo-askmodelanything, pixmo-points, dll.). Bergantung pada data berkualiti tinggi, menghapuskan keperluan untuk RLHF.
• Penilaian: Ujian yang ketat merentasi 11 dataset penanda aras dan kajian keutamaan manusia. Keputusan menunjukkan Molmo kompetitif dengan, dan kadang -kadang melebihi model proprietari.

Butiran Dataset:

• Pixmo-Cap: Lebih 712K imej dengan kapsyen terperinci dari deskripsi ucapan 60-90 kedua.
• Pixmo-AskModeLanything: Pasangan Soalan Berasaskan Imej.
• Pixmo-points: anotasi berasaskan titik untuk pemahaman ruang.
• Dataset lain: pixmo-clocks, pixmo-docs, pixmo-capqa.

Menyelam dalam seni bina:

Pemprosesan imej berbilang skala, pelbagai tanaman meningkatkan pemahaman model mengenai konteks imej. Pilihan klip ke atas Siglip dibenarkan oleh prestasi unggulnya pada data resolusi tinggi, pelbagai tanaman. Penyambung MLP dan lapisan penyatuan dengan cekap menguruskan dimensi, memastikan komunikasi yang berkesan antara visi dan komponen bahasa. Transformer Decoder-Only LLM membolehkan saiz dan prestasi model yang boleh disesuaikan.

Pra-latihan satu peringkat, didorong oleh data berkualiti tinggi, membuktikan cekap dan berkesan. Penalaan halus yang diselia seterusnya pada tugas-tugas yang pelbagai selanjutnya menyempurnakan keupayaan model. Ketiadaan RLHF adalah pilihan yang disengajakan, memanfaatkan kekayaan dataset Pixmo.

Perbandingan penanda aras menyerlahkan prestasi Molmo terhadap VLM lain, termasuk Llava, Qwen2-VL, dan Paligemma, mempamerkan kelebihan daya saingnya. Ujian keutamaan manusia selanjutnya mengesahkan keramahan pengguna.

Contoh tangan (disingkat):

Panduan tangan terperinci, termasuk contoh kod menggunakan buku nota Colab, menunjukkan cara memuatkan model, memproses imej, dan menjana output. Contohnya menunjukkan cara mengekstrak maklumat berstruktur dari imej, mempamerkan kebolehsuaian Molmo. Teknik untuk mengendalikan imej yang besar dan kompleks dengan memisahkannya ke dalam patch juga diterokai.

Kesimpulan:

Molmo mewakili kemajuan yang signifikan dalam VLM sumber terbuka. Komitmennya terhadap dataset terbuka yang berkualiti tinggi, latihan yang cekap, dan seni bina yang fleksibel meletakkannya sebagai alat yang kuat dan serba boleh untuk pelbagai tugas bahasa penglihatan. Penjelasan terperinci dan contoh tangan memberikan pemahaman yang komprehensif tentang keupayaannya.

Soalan Lazim (disingkat):

• Clip vs Siglip: Pengendalian unggul klip multi-tanaman, imej resolusi tinggi adalah sebab utama pemilihannya.
• Kelebihan Dataset: Data annotasi manusia Pixmo memberikan pemahaman visual yang lebih kaya dan lebih semula jadi berbanding dengan dataset sintetik.
• Penyesuaian: Fleksibiliti Molmo membolehkan penyesuaian kepada pelbagai tugas dan jenis input melalui arahan yang disesuaikan.

Atas ialah kandungan terperinci Molmo dan Pixmo yang menyelam dengan percubaan tangan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!