Perlumbaan ke LLM Konteks Panjang Sumber Terbuka Semakin Panas apabila Kecerunan dan Crusoe Memanjangkan \'Tetingkap Konteks\' Llama-3 kepada 1 Juta Token

Dalam kerjasama baru-baru ini, Gradient permulaan AI dan platform pengiraan awan Crusoe memanjangkan "tetingkap konteks" model Llama-3 kepada 1 juta token. Tetingkap konteks menentukan bilangan token input dan output yang boleh diproses oleh model bahasa besar (LLM).

VentureBeat Transform 2024 akan menampilkan pemimpin daripada OpenAI, Chevron, Nvidia, Kaiser Permanente dan Capital One. Acara tiga hari ini akan memberi peluang kepada peserta untuk mendapatkan pandangan penting tentang GenAI dan mengembangkan rangkaian mereka.

Dalam kerjasama baru-baru ini, Gradient dan Crusoe memanjangkan tetingkap konteks model Llama-3 kepada 1 juta token. Tetingkap konteks menentukan bilangan token input dan output yang boleh diproses oleh model bahasa besar (LLM).

Syarikat teknologi besar dan makmal AI sempadan bersaing untuk melanjutkan tetingkap konteks LLM mereka. Dalam beberapa bulan, model telah berubah daripada menyokong beberapa ribu token kepada lebih daripada satu juta dalam masa kurang daripada setahun. Walau bagaimanapun, LLM dengan tetingkap konteks yang sangat panjang kebanyakannya terhad kepada model peribadi seperti Anthropic Claude (200k token), OpenAI GPT-4 (128k token) dan Google Gemini (1 juta token).

Perlumbaan untuk mencipta sumber terbuka model dengan tetingkap konteks panjang boleh merombak pasaran LLM dan membuka kunci aplikasi yang tidak boleh dilakukan dengan model peribadi.

Kecerunan berfungsi dengan pelanggan perusahaan yang ingin menyepadukan LLM ke dalam aliran kerja mereka. Malah sebelum Llama-3 keluar, syarikat itu menghadapi masalah kesakitan konteks dalam projek yang mereka usahakan untuk pelanggan mereka.

Sumber berita：https://www.kdj.com/cryptocurrencies-news/articles/race-source-context-llms-heats-gradient-crusoe-extend-llama-context-window-tokens.html

Atas ialah kandungan terperinci Perlumbaan ke LLM Konteks Panjang Sumber Terbuka Semakin Panas apabila Kecerunan dan Crusoe Memanjangkan 'Tetingkap Konteks' Llama-3 kepada 1 Juta Token. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!