Kami Mencuba Le Chat AI Chatbot Mistral AI, dan Begini Bagaimana Ia Berbanding dengan ChatGPT

Le Chat Mistral telah mendapat daya tarikan dalam komuniti chatbot AI, dengan beberapa pemerhati menandakannya sebagai saingan berpotensi kepada ChatGPT.

Tetapi adakah chatbot AI yang masih baru ini benar-benar berbaloi dengan gelaran itu? Adakah Le Chat Mistral lebih baik daripada ChatGPT?

Apakah Le Chat Mistral AI?

Le Chat ialah chatbot AI perbualan yang dibangunkan oleh permulaan AI Perancis Mistral AI. Ia dikuasakan oleh beberapa model bahasa besar milik Mistral, termasuk Mistral Large, Mistral Small dan Mistral Next, yang kesemuanya boleh anda pilih untuk digunakan semasa berinteraksi dengan chatbot AI. Walaupun ia adalah peserta yang agak baru dalam ruang chatbot AI, ia dinilai tinggi kerana prestasi model AInya walaupun saiznya lebih kecil jika dibandingkan dengan wajaran tinggi industri seperti Gemini dan GPT-4.

Untuk memahami maksud ini, bayangkan anda sedang bermain dengan blok binaan. Lebih banyak blok yang anda miliki, lebih kompleks dan struktur terperinci yang boleh anda bina, bukan? Model AI Language agak seperti itu. Mereka datang dalam saiz, biasanya dinyatakan dalam kiraan parameter. Jadi, anda mungkin pernah mendengar istilah seperti "parameter 7B" atau "parameter 70B" dalam model AI. Kiraan parameter adalah seperti bilangan blok binaan model perlu memahami dan menjana respons. Jadi, jika model bahasa mempunyai lebih banyak parameter, ia boleh memahami dan menjana respons yang lebih kompleks dan lebih baik.

Kini, sementara GPT-4 mempunyai anggaran 1.76 trilion parameter, Mistral AI dianggarkan mempunyai antara 7 dan 56 bilion parameter. Nampak perbezaan saiz? Jadi, keupayaan Mistral AI untuk menyiarkan prestasi yang baik adalah salah satu sebab untuk gembar-gembur.

Walaupun Le Chat tidak menikmati tahap publisiti yang dinikmati oleh ChatGPT mahupun ekuiti jenama seperti Gemini, ia telah berjaya masuk ke dalam perbualan setiap kali pertandingan ChatGPT yang berpotensi dibincangkan. Tetapi adakah ia layak mendapat tempat di atas meja?

Saya tertanya-tanya perkara yang sama, dan untuk mengetahui, saya menguji Le Chat secara meluas untuk melihat bagaimana ia dibandingkan dengan ChatGPT.

Le Chat lwn. ChatGPT: Kreativiti

Kreativiti ialah salah satu metrik terpenting untuk menilai prestasi chatbot AI perbualan. Ingat, tujuan chatbot AI adalah untuk meniru atau meniru kebolehan perbualan dan bakat kreatif manusia pada skala. Ini menjadikan kreativiti sebagai kekuatan yang sangat penting untuk mana-mana AI chatbot. Dunia telah bereksperimen dengan ChatGPT selama lebih setahun, dan kebolehan kreatifnya tidak dapat dinafikan. Tetapi bagaimana Le Chat membandingkan? Kami meletakkan kedua-dua chatbot pada satu siri ujian kreativiti.

Saya mulakan dengan bertanya kepada kedua-dua chatbot, "Bagaimanakah anda menggambarkan diri anda kepada seorang artis?" untuk menguji keupayaan mereka menggunakan perkataan yang kreatif dan imaginatif untuk mengkonseptualisasikan diri mereka.

Beginilah cara ChatGPT menggambarkan dirinya kepada artis:

Dan beginilah cara Le Chat menggambarkan dirinya juga:

Kedua-dua respons adalah sesuai dengan cara tersendiri. ChatGPT lebih banyak melabur dalam menggunakan imejan dan metafora yang jelas untuk menggambarkan dirinya, menunjukkan bakat kreatif. Sebaliknya, respons Le Chat adalah sangat bermaklumat dan tertumpu pada menerangkan intipatinya sebagai chatbot AI. Mungkin ada yang mengatakan ia tidak mempunyai bakat kreatif dan pendekatan artistik yang dipamerkan oleh respons ChatGPT. Walau bagaimanapun, saya akan cuba untuk mengatakan bahawa saya lebih suka respons Le Chat yang lebih mudah untuk dibayangkan kepada penerangan abstrak ChatGPT.

Saya kemudian meminta ChatGPT dan Le Chat menulis lagu rap tentang menjadi kaya daripada menanam timun—permintaan rumit yang kami gunakan untuk menguji kreativiti chatbot lain. Berapa banyak lagu rap yang boleh anda temui tentang timun di web?

Ini jawapan ChatGPT:

Dan inilah jawapan Le Chat:

Ini mungkin isu subjektif, tetapi respons ChatGPT nampaknya pilihan yang lebih baik di sini. Lirik Le Chat kelihatan agak bertele-tele dan tidak begitu dibaca seperti sesuatu yang akan dikeluarkan oleh penyanyi rap. Untuk menguji bagaimana kedua-dua lirik akan berbunyi jika ia akan dijadikan muzik, kami menggunakan penjana muzik Suno AI untuk menjana muzik daripada lirik tersebut. Tiga daripada tiga percubaan, lirik ChatGPT terdengar lebih baik. Di bawah adalah dua sampel daripada kedua-dua AI chatbots, anda boleh menjadi hakim chatbot mana yang lebih baik. Sampel Dijana Daripada Lirik ChatGPT ms, artikel menulis, dan merangka e-mel kerja yang rumit dengan chatbots AI. Walaupun menunjukkan janji yang hebat, Le Chat jelas dikalahkan oleh ChatGPT dalam semua keadaan. Adalah penting untuk menunjukkan bahawa satu bidang yang dikuasai oleh Le Chat adalah menghasilkan artikel, walaupun dengan beberapa gaya gesaan yang rumit. Walau bagaimanapun, dari segi kreativiti serba boleh, pingat menjadi milik ChatGPT.

Le Chat lwn. ChatGPT: Kemahiran Pengaturcaraan

Kemahiran dalam pengekodan telah menjadi keperluan utama untuk chatbot AI utama. Menulis kod yang baik adalah kemahiran asas, tetapi untuk benar-benar menonjol di kalangan golongan elit, chatbot AI mesti menunjukkan kehebatannya dalam mencipta kod yang boleh menyelesaikan pelbagai masalah kompleks dengan berkesan. Kami sebelum ini telah membina keseluruhan aplikasi web dari awal menggunakan ChatGPT yang menunjukkan kebolehannya yang luar biasa sebagai alat pengaturcaraan. Tetapi sejauh manakah Le Chat pandai menulis kod?

Saya menugaskan kedua-dua bot sembang untuk menulis apl senarai tugasan mudah menggunakan CSS, HTML dan JavaScript. ChatGPT tidak menghadapi sebarang masalah untuk menghasilkan hasil yang baik. Saya menyalin kod yang dijana dan melihatnya pada penyemak imbas, dan inilah yang ChatGPT cipta:

Setiap kali kami mengulangi gesaan, ChatGPT mencipta apl senarai tugasan yang berfungsi menggunakan gaya yang berbeza. Sama sekali tidak kod yang dijana gagal berfungsi.

Apabila saya mencuba gesaan yang sama dengan Le Chat, ia menghasilkan apa yang kelihatan sebagai kod yang boleh difahami, tetapi apabila kami cuba menjalankannya pada penyemak imbas, ia tidak berfungsi. Selepas mengulangi gesaan tiga kali, tiada contoh menghasilkan kod yang boleh menyelesaikan tugasan yang ditetapkan. Ia gagal dalam salah satu tugas pengekodan paling asas—bendera merah!

Sudah tentu, saya tidak akan menilai Le Chat pada satu ujian yang gagal. Seterusnya, saya meminta kedua-dua chatbot untuk menjana kod JavaScript dan PHP untuk menyulitkan dan menyahsulit teks. Dalam ujian kedua ini, ChatGPT dan Le Chat menghasilkan kod berfungsi yang boleh melaksanakan tugas yang ditetapkan. Walau bagaimanapun, versi Le Chat kelihatan seperti yang akan ditulis oleh pengaturcara peringkat kemasukan yang tidak berpengalaman. Kod ChatGPT, sebaliknya, lebih lengkap dan kelihatan seperti ditulis oleh pengaturcara yang berpengalaman.

Saya mengulangi beberapa lagi ujian pengaturcaraan yang melibatkan mencari dan membetulkan pepijat, dan ChatGPT secara konsisten mengatasi Le Chat. Dalam sesetengah keadaan, Le Chat tidak tahu apa yang sepatutnya dilakukan. Terdapat peluang yang baik Le Chat boleh mengukur sehingga ChatGPT dalam sesetengah kawasan, tetapi kemahiran pengekodan nampaknya bukan salah satu daripadanya.

Le Chat lwn. ChatGPT: Common Sense dan Logical Reasoning

Satu sentuhan menarik dengan AI chatbots ialah keupayaan mereka untuk menyelesaikan tugasan yang rumit dengan mudah tetapi gagal dalam tugasan mudah yang memerlukan akal untuk menyelesaikannya. Banyak bot sembang, kedua-duanya yang sudah mantap seperti ChatGPT dan peserta baharu seperti Le Chat, bergelut apabila menyelesaikan tugas yang memerlukan akal sehat dan penaakulan logik gaya manusia. Jadi, bagaimana Le Chat dan ChatGPT dibandingkan di hadapan ini?

Saya bertanya kepada kedua-dua chatbot: "Jika anda mempunyai botol 3 liter dan botol 5 liter. Bagaimana anda boleh menyukat 4 liter air dengan menggunakan botol 3 liter dan 5 liter?"

ChatGPT menyelesaikan masalah dengan bakat:

Le Chat mencuba tugas yang sama dan dapat menyelesaikan masalah itu, walaupun menggunakan pendekatan yang berbeza.

Kedua-dua chatbots menunjukkan prestasi yang setanding pada ujian ini.

Seterusnya, kami bertanya kepada kedua-dua chatbots soalan muslihat: "Jika kapal angkasa dari Marikh terpecah menjadi dua, dengan satu bahagian terhempas ke Lautan Atlantik berhampiran Brazil dan satu lagi ke Lautan Pasifik berhampiran Jepun, di manakah anda mengebumikan mangsa yang terselamat?" . dalam menangani arahan yang masuk akal dan logik. Walau bagaimanapun, dengan soalan logik yang lebih kompleks, hanya ChatGPT boleh memberikan respons yang betul.

Walaupun Le Chat telah mencetuskan beberapa buzz sebagai "pembunuh ChatGPT" yang berpotensi, ujian kami menunjukkan ia masih perlu dilakukan sebelum ia benar-benar dapat bersaing dengan kelas berat dunia chatbot AI. Walaupun Le Chat menunjukkan keupayaan yang mengagumkan dalam bidang seperti penaakulan akal, output kreatif dan kemahiran pengekodannya ketinggalan dengan ketara di belakang ChatGPT. Pemula AI Perancis pastinya menunjukkan janji, tetapi mesin gembar-gembur mungkin semakin maju sedikit daripada dirinya sendiri.

Seperti banyak calon pesaing sebelum ini, Le Chat memerlukan pemurnian dan latihan berterusan sebelum ia bersedia untuk liga besar. Buat masa ini, chatbot AI seperti ChatGPT masih jelas menjadi raja dunia chatbot AI yang tidak dapat dipertikaikan. Tetapi medan pesaing semakin sesak, jadi pemimpin tidak mampu untuk berehat.

Atas ialah kandungan terperinci Kami Mencuba Le Chat AI Chatbot Mistral AI, dan Begini Bagaimana Ia Berbanding dengan ChatGPT. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!