Menjalankan AI secara setempat dalam penyemak imbas pengguna anda

Kita semua tahu betapa hebatnya AI, namun, masih terdapat dua masalah utama: privasi data dan kos.

Semua aplikasi yang menggunakan AI sekarang disambungkan ke API awan. API ini log gesaan dan konteks dan dalam beberapa kes mereka menggunakan data tersebut untuk melatih model. Ini bermakna bahawa sebarang data sensitif yang anda sertakan padanya berpotensi terdedah.

Kebanyakan aplikasi web menyepadukan ciri AI menggunakan skema berikut:

Masalahnya di sini ialah pelayan aplikasi perlu menghantar data pengguna ke API AI, yang merupakan API pihak ketiga dan kami tidak dapat mengetahui apa yang akan berlaku dengan data pengguna.

Tetapi, kenapa tidak kita memproses AI dalam peranti pengguna dan bukannya awan? Saya telah mengujinya selama beberapa minggu dengan hasil yang menakjubkan. Saya dapati 3 kelebihan utama:

1. Data pengguna tidak pernah dihantar kepada pihak ketiga. Ia sentiasa kekal pada peranti pengguna.
2. Ia percuma untuk pembangun apl, anda tidak perlu membayar untuk inferens pengguna, kerana ia berlaku terus pada peranti pengguna.
3. Skalabiliti tidak terhad kerana setiap pengguna baharu membawa kuasa pengiraan sendiri.

Mari kita lihat dengan cepat bagaimana skema sebelumnya berubah apabila kita memunggah pengiraan AI kepada pengguna:

Ia satu konsep yang sangat mudah. Pengguna menggunakan aplikasi we seperti biasa, tetapi apabila terdapat beberapa tugas yang memerlukan untuk melakukan pengiraan AI, bukannya menggunakan API pihak ketiga, kami menghantarnya kepada pengguna dan peranti itu akan melakukan pengiraan itu dengan cara yang paling selamat, tempatan.

Ini bukan sekadar mimpi, ia sudah berfungsi sepenuhnya, dan saya mencipta platform yang dipanggil Offload supaya semua orang boleh menggunakan seni bina ini dengan mudah, hanya menukar beberapa baris kod . SDK akan mengendalikan segala-galanya di sebalik tabir, daripada memuat turun model yang sesuai pada peranti pengguna, untuk membantu anda mengurus gesaan dan menilai respons segera secara setempat, menghantar semula hasil penilaian kepada anda tanpa mendedahkan data pengguna. Segala-galanya berfungsi dengan telus dengan seruan fungsi tunggal.

Saya sedang mencari pembangun web yang mungkin mendapat manfaat daripada ini, walaupun ia hanya untuk projek hobi, jadi, jika anda suka pendekatan ini ping saya! Saya ingin membantu anda menyediakannya dalam aplikasi anda dan anda akan melihat bahawa ia sebenarnya sangat mudah untuk berhijrah dalam beberapa minit.

Sepadukan Offload dalam aplikasi anda

Atas ialah kandungan terperinci Menjalankan AI secara setempat dalam penyemak imbas pengguna anda. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!