Mengapa Konteks Satu Juta Token Gemini 1.5 Merupakan Pengubah Permainan

Google Gemini 1.5 kini hadir dengan satu juta tetingkap konteks token yang besar, mengurangkan persaingan langsungnya dalam ChatGPT, Claude dan chatbot AI yang lain.

Kedengarannya seperti peningkatan besar-besaran dan boleh membezakan Gemini. Agak sukar untuk memahami keseluruhannya—tetapi tetingkap konteks Gemini yang besar boleh menjadi pengubah permainan.

Apakah Tetingkap Konteks?

Semasa menjawab pertanyaan anda, seperti menerangkan konsep atau meringkaskan teks, model AI mempunyai had pada jumlah data yang boleh mereka pertimbangkan untuk menjana respons. Had pada saiz teks yang boleh dipertimbangkannya dipanggil tetingkap konteks.

Ini cara lain untuk melihatnya. Katakan anda pergi ke kedai runcit untuk mendapatkan barangan runcit tanpa senarai barangan runcit anda. Had bilangan barangan runcit yang anda ingat semasa membeli-belah ialah tetingkap konteks anda. Lebih banyak barangan runcit yang anda boleh ingat, lebih tinggi peluang untuk tidak mengacaukan rancangan membeli-belah anda. Begitu juga, lebih besar tetingkap konteks model AI, lebih tinggi peluang model mengingati semua yang diperlukan untuk memberikan anda hasil terbaik.

Pada masa penulisan, tetingkap konteks 200k Anthropic's Claude 2.1 ialah tetingkap konteks terbesar bagi mana-mana model AI yang tersedia secara umum. Ini diikuti oleh GPT-4 Turbo dengan tetingkap konteks 128k. Google Gemini 1.5 membawakan satu juta tetingkap konteks, empat kali lebih besar daripada apa-apa di pasaran. Ini membawa kepada persoalan besar: apakah masalah besar dengan tetingkap konteks satu juta token?

Mengapa Tetingkap Konteks Gemini 1.5 Adalah Tawaran Besar

Untuk meletakkannya dalam perspektif yang lebih jelas, tetingkap konteks 200k Claude AI bermakna ia boleh mencerna buku sekitar 150,000 patah perkataan dan memberikan jawapan kepadanya. Itu besar. Tetapi Gemini 1.5 Google akan dapat mencerna 700,000 perkataan sekaligus!

Apabila anda menyuap blok teks yang besar ke dalam chatbot AI seperti ChatGPT atau Gemini, ia cuba mencerna sebanyak mungkin teks, tetapi jumlah yang boleh dihadam bergantung pada tetingkap konteksnya. Jadi, jika anda mempunyai perbualan yang mengandungi 100k perkataan pada model yang hanya boleh mengendalikan 28k dan kemudian mula bertanya soalan yang memerlukannya untuk mempunyai pengetahuan lengkap tentang keseluruhan 100k perkataan bernilai perbualan, anda menetapkannya untuk gagal.

Bayangkan hanya menonton 20 minit filem berdurasi satu jam tetapi diminta menerangkan keseluruhan filem. Seberapa baik keputusan anda? Anda sama ada enggan menjawab atau hanya mengada-adakan, itulah yang akan dilakukan oleh chatbot AI, yang membawa kepada halusinasi AI.

Sekarang, jika anda berfikir bahawa anda tidak pernah perlu memasukkan 100k perkataan ke dalam chatbot, itu bukan pertimbangan keseluruhan. Tetingkap konteks mengatasi hanya teks yang anda suapkan kepada model AI dalam satu gesaan. Model AI mempertimbangkan keseluruhan perbualan yang anda alami semasa sesi sembang untuk memastikan respons mereka adalah relevan yang mungkin.

Jadi, walaupun anda tidak memberinya buku 100k perkataan, perbualan bolak-balik anda dan balasan yang diberikannya semuanya menambah pengiraan tetingkap konteks. Tertanya-tanya mengapa ChatGPT atau Gemini Google terus melupakan perkara yang anda telah beritahu sebelum ini dalam perbualan? Ia berkemungkinan kehabisan ruang tetingkap konteks dan mula melupakan perkara.

Tetingkap konteks yang lebih besar amat penting untuk tugasan yang memerlukan pemahaman yang mendalam tentang konteks, seperti meringkaskan artikel yang panjang, menjawab soalan yang rumit atau mengekalkan naratif yang koheren dalam teks yang dijana. Ingin menulis novel 50k perkataan yang mempunyai naratif yang konsisten sepanjang? Mahu model yang boleh "menonton" dan menjawab soalan pada fail video selama satu jam? Anda memerlukan tetingkap konteks yang lebih besar!

Ringkasnya, tetingkap konteks Gemini 1.5 yang lebih besar mungkin meningkatkan prestasi model AInya dengan ketara, mengurangkan halusinasi dan meningkatkan ketepatan serta keupayaan untuk mengikuti arahan dengan lebih baik dengan ketara.

Adakah Gemini 1.5 Akan Menepati Jangkaan?

Jika semuanya berjalan seperti yang dirancang, Gemini 1.5 berpotensi mengatasi model AI terbaik di pasaran. Walau bagaimanapun, memandangkan banyak kegagalan Google dalam membina model AI yang stabil, adalah penting untuk tersilap langkah berhati-hati. Menaikkan tetingkap konteks model sahaja tidak menjadikan model itu lebih baik secara automatik.

Saya telah menggunakan tetingkap konteks 200k Claude 2.1 selama berbulan-bulan sejak dikeluarkan, dan satu perkara yang jelas kepada saya—tetingkap konteks yang lebih besar sememangnya boleh meningkatkan sensitiviti konteks, tetapi masalah dengan prestasi model teras boleh menjadikan konteks yang lebih besar sebagai masalah miliknya.

Adakah Google Gemini 1.5 akan memberi kita penukar permainan? Media sosial kini dipenuhi dengan ulasan cemerlang Gemini 1.5 daripada pengguna akses awal. Walau bagaimanapun, kebanyakan ulasan 5 bintang berpunca daripada kes penggunaan yang tergesa-gesa atau dipermudahkan. Tempat yang baik untuk menyemak prestasi Gemini 1.5 di alam liar adalah dalam laporan teknikal Gemini 1.5 Google [PDF]. Laporan itu menunjukkan bahawa walaupun semasa "ujian terkawal," model itu tidak dapat mendapatkan semua butiran kecil dokumen dengan baik dalam saiz tetingkap konteksnya.

Tetingkap konteks satu juta token sememangnya satu pencapaian teknikal yang mengagumkan, tetapi tanpa dapat mendapatkan semula butiran dokumen dengan pasti, maka tetingkap konteks yang lebih besar tidak mempunyai nilai praktikal malah boleh menjadi punca penurunan ketepatan dan halusinasi.

Atas ialah kandungan terperinci Mengapa Konteks Satu Juta Token Gemini 1.5 Merupakan Pengubah Permainan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!