Landskap AI berkembang pesat, dengan model yang lebih kecil, ringan mendapat keunggulan untuk kecekapan dan skalabiliti mereka. Selepas Google Deepmind melancarkan model 27B Gemma 3, Mistral AI kini telah mengeluarkan model ringan Mistral 3.1 parameter 24B. Model baru, cepat, dan disesuaikan ini mentakrifkan semula model ringan yang boleh dilakukan. Ia beroperasi dengan cekap pada pemproses tunggal, meningkatkan kelajuan dan kebolehcapaian untuk pasukan dan organisasi yang lebih kecil. Dalam perbandingan Mistral 3.1 vs Gemma 3 ini, kami akan meneroka ciri-ciri mereka, menilai prestasi mereka pada ujian penanda aras, dan menjalankan beberapa ujian tangan untuk mengetahui model yang lebih baik.
Mistral 3.1 adalah model bahasa besar terkini (LLM) dari Mistral AI, yang direka untuk memberikan prestasi tinggi dengan keperluan pengiraan yang lebih rendah. Ia mewakili peralihan ke arah model AI yang padat namun berkuasa, menjadikan keupayaan AI maju lebih mudah dan cekap. Tidak seperti model besar-besaran yang memerlukan sumber yang luas, Mistral 3.1 mengimbangi skalabiliti, kelajuan, dan kemampuan, menjadikannya sesuai untuk aplikasi dunia nyata.
Mistral 3.1 boleh didapati melalui pelbagai platform. Anda boleh memuat turun dan menjalankannya secara tempatan melalui muka yang memeluk atau mengaksesnya menggunakan API AI Mistral.
Anda boleh memuat turun Mistral 3.1 Base dan Mistral 3.1 Mengarahkan Penggunaan Langsung dari Pakaian Face. Inilah cara melakukannya:
Langkah 1: Pasang VLLM setiap malam
Buka terminal anda dan jalankan arahan ini untuk memasang VLLM (ini juga memasang pakej Mistral_Common yang diperlukan):
PIP Pasang VLLM --Pre --extra-index-url https://wheels.vllm.ai/nightly --upgrade
Anda boleh mengesahkan pemasangan dengan menjalankan:
python -c "import mistral_common; cetak (mistral_common .__ version__)"
Langkah 2: Sediakan skrip python anda
Buat fail python baru (misalnya, offline_inference.py) dan tambahkan kod berikut. Pastikan untuk menetapkan pemboleh ubah model_name kepada ID model yang betul (contohnya, "Mistralai/Mistral-Small-3.1-24B-Instruct-2503"):
dari vllm import llm dari vllm.sampling_params SamplingParams Import # Tentukan prompt sistem (anda boleh mengubahnya seperti yang diperlukan) System_prompt = "Anda adalah ejen perbualan yang selalu menjawab terus ke titik, selalu mengakhiri respons tepat anda dengan lukisan ASCII kucing." # Tentukan arahan pengguna user_prompt = "Beri saya 5 cara bukan formal untuk mengatakan 'melihat anda kemudian' dalam bahasa Perancis." # Menyediakan mesej untuk perbualan Mesej = [ {"peranan": "sistem", "kandungan": system_prompt}, {"peranan": "pengguna", "kandungan": user_prompt}, ] # Tentukan nama model (pastikan anda mempunyai memori GPU yang mencukupi atau menggunakan kuantisasi jika diperlukan) Model_name = "Mistralai/Mistral-Small-3.1-24B-Instruct-2503" # Inisialisasi LLM dari VLLM dengan Model dan Mod Tokenizer yang ditentukan llm = llm (model = model_name, tokenizer_mode = "mistral") # Tetapkan parameter pensampelan (laraskan max_token dan suhu seperti yang dikehendaki) sampling_params = samplingParams (max_tokens = 512, suhu = 0.15) # Jalankan model di luar talian dan dapatkan respons output = llm.chat (mesej, sampling_params = sampling_params) # Cetak teks yang dihasilkan dari respons model Cetak (output [0] .Outputs [0] .text)
Langkah 3: Jalankan skrip di luar talian
Model ini akan dimuatkan secara tempatan dan menghasilkan respons berdasarkan arahan anda.
Anda juga boleh mengakses Mistral 3.1 melalui API. Berikut adalah langkah -langkah untuk diikuti untuk itu.
Anda boleh mengintegrasikan kekunci API ini ke dalam aplikasi anda untuk berinteraksi dengan Mistral 3.1.
Gemma 3 adalah model terbuka yang canggih, yang direka oleh Google Deepmind, untuk memberikan prestasi tinggi dengan penggunaan sumber yang cekap. Dibina pada penyelidikan dan teknologi yang sama yang menguasai Gemini 2.0, ia menawarkan keupayaan AI yang maju dalam bentuk padat, menjadikannya sesuai untuk aplikasi peranti di pelbagai perkakasan. Tersedia dalam saiz parameter 1B, 4B, 12B, dan 27B, GEMMA 3 membolehkan pemaju membina penyelesaian berkuasa AI yang cepat, berskala, dan boleh diakses.
Gemma 3 mudah diakses merentasi pelbagai platform seperti Google AI Studio, memeluk muka, Kaggle, dan banyak lagi.
Pilihan ini membolehkan anda berinteraksi dengan Gemma 3 dalam persekitaran pra-konfigurasi tanpa memasang apa-apa pada mesin anda sendiri.
Langkah 1: Buka penyemak imbas web anda dan pergi ke Google AI Studio.
Langkah 2: Log masuk dengan akaun Google anda. Jika anda tidak mempunyai satu, buat akaun Google.
Langkah 3: Setelah log masuk, gunakan bar carian di AI Studio untuk mencari projek notebook atau demo yang menggunakan "Gemma 3".
Petua: Cari projek bertajuk dengan "Gemma 3" atau periksa bahagian "Notebook Komuniti" di mana demo pra-konfigurasi sering dikongsi.
Langkah 4: Lancarkan demo dengan mengikuti langkah -langkah di bawah.
Langkah 5: Ikuti arahan dalam buku nota untuk mula menggunakan model. Anda boleh mengubah suai teks input, menjalankan sel, dan melihat tindak balas model dalam masa nyata tanpa sebarang persediaan tempatan.
Jika anda lebih suka bekerja dengan Gemma 3 pada mesin anda sendiri atau mengintegrasikannya ke dalam projek anda, anda boleh memuat turunnya dari beberapa sumber.
Langkah 1: Lawati muka yang memeluk.
Langkah 2: Gunakan bar carian untuk menaip "Gemma 3" dan klik pada kad model yang sepadan dengan Gemma 3.
Langkah 3: Muat turun model menggunakan butang "Muat turun" atau klon repositori melalui Git.
Jika anda menggunakan Python, pasangkan Perpustakaan Transformers:
PIP memasang transformer
Langkah 4: Muatkan dan gunakan model dalam kod anda. Untuk ini, anda boleh membuat skrip Python baru (misalnya, GEMMA3_DEMO.PY) dan menambah kod yang serupa dengan coretan di bawah:
Dari Transformers Import Automelforcausallm, Autotokenizer Model_id = "Your-Gemma3-Model-ID" # Gantikan dengan ID Model sebenar dari Pakaian Face Model = automelforcausallm.from_pretrained (model_id) tokenizer = autotokenizer.from_pretrained (model_id) Prompt = "Apakah cara terbaik untuk menikmati secawan kopi?" input = tokenizer (prompt, return_tensors = "pt") output = model.generate (** input, max_new_tokens = 50) cetak (tokenizer.decode (output [0], skip_special_tokens = true))
Jalankan skrip anda secara tempatan untuk berinteraksi dengan Gemma 3.
Langkah 1: Buka kaggle dalam penyemak imbas anda.
Langkah 2: Gunakan bar carian di Kaggle untuk mencari "Gemma 3." Cari buku nota atau dataset di mana model digunakan.
Langkah 3: Klik pada buku nota yang relevan untuk melihat bagaimana Gemma 3 disepadukan. Anda boleh menjalankan buku nota dalam persekitaran Kaggle atau memuat turun buku nota untuk mengkaji dan mengubah suai di mesin tempatan anda.
Langkah 1: Lawati Ollama dan muat turun aplikasi Ollama.
Langkah 2: Lancarkan aplikasi Ollama pada sistem anda dan gunakan ciri carian terbina dalam untuk mencari "Gemma 3" dalam katalog model.
Langkah 3: Klik pada model Gemma 3 dan ikuti arahan untuk memuat turun dan pasangnya. Setelah dipasang, gunakan antara muka Ollama untuk menguji model dengan memasukkan petunjuk dan tontonan.
Dengan mengikuti langkah -langkah terperinci ini, anda boleh mencuba Gemma 3 dengan serta -merta di Google AI Studio atau memuat turunnya untuk pembangunan melalui muka pelukan, kaggle, atau ollama. Pilih kaedah yang paling sesuai dengan aliran kerja dan persediaan perkakasan anda.
Sekarang mari kita mulakan perbandingan kita, bermula dengan ciri -ciri mereka. Berikut adalah perbandingan terperinci mengenai ciri -ciri Gemma 3 dan Mistral Small 3.1, berdasarkan data yang ada:
Ciri | Mistral Small 3.1 | Gemma 3 |
Parameter | 24b | Terdapat dalam varian 1b, 4b, 12b, dan 27b |
Tetingkap konteks | Sehingga 128k token | Sehingga 128k token |
Keupayaan multimodal | Menyokong kedua -dua teks dan input imej | Menyokong kedua -dua teks dan input imej |
Kelajuan kesimpulan | Lebih cepat (150 token sesaat) | Lebih perlahan berbanding dengan mistral |
Latensi | Latensi yang lebih rendah (0.33s hingga token pertama) | Latensi yang lebih tinggi |
Sokongan bahasa | Menyokong berpuluh -puluh bahasa | Berbilang bahasa dengan lebih dari 140 bahasa |
Gaya perbualan | Gaya perbualan kering, tetapi boleh diperbaiki dengan sistem arahan | Lebih banyak respons seperti manusia dan chatgpt |
Keupayaan penalaran | Mengatasi Gemma 3 dalam tugas pemikiran seperti MMLU | Berfungsi dengan baik dalam penalaran tetapi bukan peringkat teratas |
Sumber terbuka | Ya (lesen Apache 2.0) | Ya |
Dalam bahagian ini, kami akan membandingkan Gemma 3 dan Mistral 3.1 pada beberapa tugas tangan dan melihat bagaimana mereka melakukan. Untuk perbandingan yang adil, kami akan mencuba arahan yang sama pada kedua -dua model, inilah senarai tugas yang akan kami cuba:
Mari bermula.
Dalam tugas ini, kami akan memberikan model imej gula -gula yang mempunyai simbol haiwan, dan meminta mereka untuk mengenal pasti haiwan pada gula -gula.
Segera: "Identiti haiwan dalam imej"
Imej input:
Output
Mistral 3.1 | Gemma 3 |
Candies dalam imej kelihatan seperti M & M, dan haiwan yang digambarkan pada mereka adalah penyu. Reka bentuk penyu dapat dilihat pada gula -gula biru, oren, dan hijau. | Mari kita menganalisis gula -gula dalam imej! Haiwan di gula -gula adalah penyu. Anda dapat melihat cangkang dan kepala dan kaki penyu yang jelas dicetak di permukaan. |
Kedua -dua model dengan betul mengenal pasti haiwan itu dalam imej sebagai penyu. Walau bagaimanapun, Mistral 3.1 menyediakan konteks tambahan dengan mengenal pasti gula -gula sebagai M & Ms dan menyebut warna gula -gula. Sementara itu, Gemma 3 menggambarkan penampilan penyu dengan cara yang lebih umum.
Keputusan: Kedua -dua model berjaya mengenal pasti objek itu, tetapi Mistral 3.1 memberikan maklumat kontekstual yang lebih terperinci. Oleh itu, Mistral 3.1 memenangi pusingan ini.
Skor: Mistral 3.1: 1 | Gemma 3: 0
Untuk menguji model pada keupayaan pengekstrakan data visual mereka, kami akan menyediakan mereka dengan imej pesawat dan meminta mereka untuk mengekstrak kod kenderaan daripadanya.
Prompt: "Apakah kod di kenderaan itu?"
Imej input:
Output:
Mistral 3.1 | Gemma 3 |
Kod di atas kenderaan, yang merupakan kapal terbang, adalah "D-EOJU." | Berdasarkan imej, kenderaan itu adalah Cessna 172 Skyhawk. Kod pendaftaran pada ekor adalah D-EOJU. |
Mistral 3.1 dan Gemma 3 berjaya mengenal pasti kod pendaftaran dari kapal terbang. Tetapi, Gemma 3 bukan sahaja mengenal pasti kod itu, tetapi juga menambah butiran tambahan, seperti model pesawat.
Keputusan: Kedua -dua model dengan tepat mengekstrak kod itu, tetapi Gemma 3 menawarkan lebih banyak butiran latar belakang mengenai kenderaan. Jadi, Gemma 3 mendapat titik untuk yang satu ini.
Skor: Mistral 3.1: 1 | Gemma 3: 1
Untuk tugas terakhir, kami akan memberikan mereka imej resit WiFi dan meminta mereka untuk mengekstrak kata laluan WiFi daripadanya.
Segera: "Apakah kata laluan?"
Imej input:
Output:
Mistral 3.1 | Gemma 3 |
Kata laluan yang disediakan dalam imej adalah ** aaeu **. Berikut adalah maklumat dari imej untuk kejelasan: - ** Nama Pengguna: ** FQPP - ** Kata Laluan: ** AAEU - ** Trafik: ** 1 GB - ** Harga: ** 0.00 - ** Kesahan: ** 1 minggu - ** Bermula: ** Sekarang - ** Pengguna Dikongsi: ** 4 - ** Tarikh dan Masa: ** 27/02/2019 11:03:15 |
Berdasarkan imej, kata laluan adalah aaeu |
Kedua -dua model dengan tepat mengekstrak kata laluan dari imej. Di samping itu, Mistral 3.1 memberikan butiran tambahan mengenai nama pengguna, trafik, harga, kesahan, dan maklumat berkaitan lain, menjadikan outputnya lebih komprehensif.
Keputusan: Mistral 3.1 dilakukan dengan lebih baik dalam mengekstrak dan menyampaikan data berstruktur, menawarkan konteks yang lebih berguna. Jadi, Mistral 3.1 mendapat satu lagi perkara untuk tugas ini.
Skor: Mistral 3.1: 2 | Gemma 3: 1
Berikut adalah ringkasan prestasi kedua -dua model di seluruh tugas yang telah kami cuba.
Tugas | Mistral 3.1 Prestasi | Prestasi Gemma 3 | Pemenang |
Pengesanan objek | Betul mengenal pasti haiwan (penyu) dan menyediakan konteks tambahan, menyebut bahawa gula -gula adalah M & Ms dan menyatakan warna mereka. | Betul mengenal pasti haiwan itu sebagai penyu dan menggambarkan penampilannya tetapi tanpa butiran kontekstual tambahan. | Mistral 3.1 |
Pengekstrakan data visual (kod kenderaan) | Berjaya mengekstrak Kod Pendaftaran ("D-EOJU") dari imej pesawat. | Secara tepat diekstrak kod pendaftaran dan juga mengenal pasti model pesawat (Cessna 172 Skyhawk). | Gemma 3 |
Pengekstrakan data visual (teks bercetak) | Betul diekstrak kata laluan WiFi dan menyediakan data berstruktur tambahan seperti nama pengguna, trafik, harga, kesahihan, dan butiran lain. | Betul diekstrak kata laluan WiFi tetapi tidak memberikan maklumat berstruktur tambahan. | Mistral 3.1 |
Dari perbandingan ini, kami telah melihat bahawa Mistral 3.1 cemerlang dalam pengekstrakan data berstruktur dan memberikan respons ringkas namun bermaklumat. Sementara itu, Gemma 3 berfungsi dengan baik dalam pengiktirafan objek dan menawarkan butiran kontekstual yang lebih kaya dalam beberapa kes.
Untuk tugas yang memerlukan pengekstrakan data yang cepat, berstruktur, dan tepat, Mistral 3.1 adalah pilihan yang lebih baik. Untuk tugas di mana konteks dan maklumat deskriptif tambahan penting, Gemma 3 mempunyai kelebihan. Oleh itu, model terbaik bergantung kepada kes penggunaan khusus.
Sekarang mari kita lihat bagaimana kedua -dua model ini telah dilakukan di pelbagai ujian penanda aras standard. Untuk perbandingan ini, kami akan melihat tanda aras yang menguji keupayaan model dalam mengendalikan teks, kandungan berbilang bahasa, kandungan multimodal, dan konteks panjang. Kami juga akan melihat hasil penanda aras prestasi pretrain.
Kedua -dua Gemma 3 dan Mistral Small 3.1 adalah model AI yang terkenal yang telah dinilai di pelbagai tanda aras.
Dari graf kita dapat melihatnya:
Grafik secara visual menggambarkan bahawa:
Dari graf kita dapat melihatnya:
Untuk prestasi berbilang bahasa:
Untuk pengendalian konteks yang panjang:
Dari graf ini, kita dapat melihatnya:
Kedua -dua Mistral 3.1 dan Gemma 3 adalah model AI ringan yang kuat, masing -masing cemerlang di kawasan yang berbeza. Mistral 3.1 dioptimumkan untuk kelajuan, latensi rendah, dan keupayaan penalaran yang kuat, menjadikannya pilihan pilihan untuk aplikasi masa nyata seperti chatbots, pengekodan, dan penjanaan teks. Kecekapan dan pengkhususan tugasnya terus meningkatkan rayuannya untuk tugas AI yang didorong oleh prestasi.
Sebaliknya, Gemma 3 menawarkan sokongan multimodal yang luas, keupayaan multimodal, dan tetingkap konteks yang kompetitif, menjadikannya sesuai untuk aplikasi AI global, ringkasan dokumen, dan penjanaan kandungan dalam pelbagai bahasa. Walau bagaimanapun, ia menjual beberapa kelajuan dan kecekapan berbanding Mistral 3.1.
Pada akhirnya, pilihan antara Mistral 3.1 dan Gemma 3 bergantung kepada keperluan khusus. Mistral 3.1 cemerlang dalam aplikasi yang didorong oleh prestasi dan masa nyata, sementara Gemma 3 sangat sesuai untuk penyelesaian AI berbilang bahasa dan multimodal.
A. Ya, anda boleh menyempurnakan kedua-dua model. Mistral 3.1 menyokong penalaan halus untuk domain tertentu seperti AI dan penjagaan kesihatan undang-undang. Gemma 3 menyediakan versi kuantitatif untuk kecekapan yang dioptimumkan.
S2. Bagaimana saya memilih antara Mistral 3.1 dan Gemma 3?A. Pilih Mistral 3.1 jika anda memerlukan penalaran, pengekodan, dan kesimpulan yang cekap. Pilih Gemma 3 jika anda memerlukan sokongan pelbagai bahasa dan aplikasi teks-berat.
Q3. Apakah perbezaan utama dalam seni bina antara Mistral 3.1 dan Gemma 3?A. Mistral 3.1 adalah model pengubah padat yang dilatih untuk kesimpulan yang cepat dan penalaran yang kuat, manakala Gemma 3 boleh didapati dalam saiz parameter 1b, 4b, 12b, dan 27b, dioptimumkan untuk fleksibiliti.
Q4. Adakah model ini menyokong input multimodal?A. Ya, kedua -dua model menyokong visi dan pemprosesan teks, menjadikannya berguna untuk penulisan imej dan penalaran visual.
S5. Apakah jenis model yang Mistral 3.1?A. Mistral 3.1 adalah model pengubah padat yang direka untuk kesimpulan yang cepat dan penalaran yang kuat, menjadikannya sesuai untuk tugas NLP yang kompleks.
S6. Apakah saiz Gemma 3 yang ada?A. Gemma 3 boleh didapati dalam saiz parameter 1b, 4b, 12b, dan 27b, memberikan fleksibiliti merentasi persediaan perkakasan yang berbeza.
Q7. Apakah kekuatan dan kelemahan Mistral 3.1 dalam penandaarasan?A. Mistral 3.1 cemerlang dengan kesimpulan yang cepat, pemahaman NLP yang mantap, dan penggunaan sumber yang rendah, menjadikannya sangat efisien. Walau bagaimanapun, ia mempunyai keupayaan multimodal yang terhad dan melakukan sedikit lemah daripada GPT-4 pada tugas konteks panjang.
Atas ialah kandungan terperinci Mistral 3.1 vs Gemma 3: Mana yang lebih baik?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!