AI tempatan dengan API Chrome

Lazimnya kebanyakan produk yang menggunakan kecerdasan buatan (AI) berbuat demikian melalui penggunaan API, yang seterusnya menyambung ke pelayan untuk mengembalikan hasil ke web. Ini sangat masuk akal apabila tugasan itu sengit dan memerlukan banyak kuasa pemprosesan.

Tetapi adakah terdapat pilihan yang lebih cekap untuk tugasan mudah?

Pasukan Chrome telah melancarkan API secara eksperimen yang membolehkan anda berinteraksi dengan model Gemini Nano secara tempatan. Ini menghapuskan keperluan untuk menggunakan model yang lebih besar, seperti Gemini Pro 1.5, untuk tugas yang rumit.

Perbezaan Utama

1. Penyepaduan Setempat: Tidak perlu menggunakan model. Diintegrasikan terus ke dalam penyemak imbas, ia bertanggungjawab untuk mengurus muat turun, kemas kini dan penambahbaikan. Pembangun hanya perlu bimbang untuk menyepadukannya ke dalam aplikasi mereka.

2. Muat Turun Kecekapan: Dengan tidak memerlukan aplikasi memuat turun model, kecekapan dipertingkatkan. Malah model kecil, dalam konteks web, boleh bersaiz besar. Sebagai contoh, model transformer.js mempunyai berat sekitar 60MB.

3. Peningkatan Prestasi: Penyepaduan setempat ini membenarkan akses kepada sumber peranti, seperti GPU, yang meningkatkan prestasi dengan ketara.

Faedah Menjalankan Model Secara Tempatan

• Menyimpan Panggilan ke Pelayan: Dengan mengelakkan pertanyaan berterusan kepada pelayan, aplikasi web menjadi lebih cekap, mengurangkan masa menunggu.

• Privasi: Data kekal pada peranti, yang menambah lapisan keselamatan tambahan dengan tidak perlu menghantarnya ke pelayan luaran.

• Penggunaan Luar Talian: Setelah dimuat turun, model itu tersedia pada peranti, membenarkan ia digunakan tanpa sambungan Internet.

Seni Bina Hibrid

Walaupun model tempatan cekap, kami tidak boleh membuang pelayan sepenuhnya. Ini masih diperlukan untuk memproses tugas yang lebih kompleks. Perkara utama ialah mencari "sweet spot", iaitu, titik optimum di mana ia ditentukan bila menggunakan model tempatan dan bila menggunakan pelayan.

Selain itu, model bersepadu boleh berfungsi sebagai sandaran sekiranya berlaku kegagalan pelayan atau kekurangan sambungan internet.

Had

Memandangkan ia adalah model kecil dan dioptimumkan untuk dijalankan dalam penyemak imbas, ia mempunyai kapasiti yang lebih terhad. Buat masa ini, penggunaannya disyorkan untuk tugas tertentu seperti terjemahan, ringkasan atau penambahbaikan teks. Jenis model ini dikenali sebagai "Model Pakar", kerana model ini lebih cekap untuk tugasan tertentu.

Sertai Program Eksperimen

Jika anda ingin mencuba API ini, anda boleh menyertai program percubaan dengan mengisi borang di pautan ini. Anda akan menerima akses kepada dokumentasi dan Kumpulan Google yang membolehkan anda terus mendapat maklumat tentang kemas kini dan perubahan pada API.

Ketahui dalam siaran berikut cara mula menggunakan API ini dan fungsi yang tersedia.

Atas ialah kandungan terperinci AI tempatan dengan API Chrome. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!