Offload - SDK javascript bersatu yang mendayakan AI dalam penyemak imbas

Hari ini saya ingin berkongsi Offload, javascript SDK untuk menjalankan AI terus pada penyemak imbas pengguna.

Apa itu Offload?

Ia ialah SDK yang boleh anda gunakan untuk menambahkan AI pada tapak web anda tetapi dengan satu keistimewaan: ia membolehkan pengguna anda menjalankan tugas AI secara setempat, menyimpan data mereka pada peranti mereka, mengelakkan keperluan untuk menghantarnya kepada API inferens pihak ketiga.

Selain itu, ia mengurangkan kos anda dan membantu skala aplikasi anda dengan murah. Memandangkan lebih banyak inferens diturunkan ke peranti pengguna, semakin sedikit sumber yang anda perlukan untuk memperuntukkan atau membelanjakan pada API pihak ketiga.

Jika anda seorang pembangun aplikasi, penyepaduan Offload hanya akan menambah baik aplikasi anda, kerana ia akan terus berfungsi seperti biasa sambil menawarkan pengguna anda keupayaan untuk memproses data mereka secara setempat, tanpa sebarang usaha dari pihak anda.

Muat turun ciri

Anda boleh menyepadukan Offload sebagai pengganti langsung apa sahaja SDK yang anda gunakan sekarang, hanya menukar panggilan fungsi inferens anda.

Offload menyajikan** model saiz berbeza kepada pengguna anda secara automatik**, bergantung pada peranti dan sumbernya. Jika peranti pengguna tidak mempunyai sumber yang mencukupi, Offload tidak akan menunjukkan kepada pengguna itu pilihan untuk memproses data secara setempat dan akan kembali kepada apa-apa API yang anda tentukan melalui papan pemuka.

Dalam papan pemuka, anda boleh mengkonfigurasi dan mengurus gesaan, menyesuaikan dan mengujinya untuk model yang berbeza serta mendapatkan analisis daripada pengguna dan banyak lagi. Semuanya tanpa mendedahkan data pengguna anda kepada mana-mana pihak ketiga, kerana semuanya diproses pada peranti.

Offload menyokong penjanaan respons teks, menguatkuasakan objek data berstruktur melalui skema JSON, menstrim respons teks dan banyak lagi.

Jika ada perkara lain yang kami tidak sokong yang anda ingin lihat, sila tinggalkan komen!

Mengapa Offload penting?

Saya percaya AI tempatan adalah masa depan. Walau bagaimanapun, apabila AI terus maju, saya semakin bimbang tentang cara data kami diproses.

Setiap aplikasi yang melaksanakan ciri AI hari ini menggunakan API jauh, di mana ia menghantar data pengguna. Kebanyakan aplikasi ini menggunakan API awam seperti OpenAI, Anthropic dan lain-lain. Alirannya mudah: aplikasi mengumpul data pengguna dan menghantarnya bersama-sama dengan gesaan ke API jauh, yang membalas dengan teks atau imej yang dijana.

Masalah besar dengan pendekatan ini ialah apabila anda memberikan aplikasi akses kepada dokumen, (atau foto, video atau mana-mana data), ia menghantar dokumen anda ke API jauh, yang mungkin termasuk apa-apa maklumat sensitif ia mengandungi. API jauh berkemungkinan merekodkan gesaan, menggunakan data untuk melatih model baharu atau menjual data anda untuk tujuan lain.

Saya rasa masalah privasi data lebih teruk sekarang kerana kami mempunyai LLM. LLM membenarkan mengindeks sejumlah besar maklumat tidak berstruktur dengan cara baharu yang tidak mungkin dilakukan sebelum ini dan ini meningkatkan bahaya mendedahkan sebarang maklumat peribadi.

Sebagai contoh, katakan anda mempunyai diari. Ia mungkin termasuk tempat tinggal anda, jadual anda, siapa rakan anda, tempat anda bekerja, mungkin jumlah pendapatan anda dan banyak lagi. Walaupun tidak ditulis secara langsung, ia mungkin boleh disimpulkan daripada kandungan diari tersebut. Sehingga kini, untuk membuat kesimpulan maklumat itu, seseorang perlu membacanya sepenuhnya. Walau bagaimanapun, dengan LLM, seseorang boleh memperoleh data yang mencukupi untuk menyamar sebagai anda dalam beberapa saat.

Dengan menggunakan apl untuk bersembang dengan diari anda, anda berpotensi mendedahkan maklumat anda, kerana ia dihantar kepada beberapa API.
Sebaliknya, jika aplikasi sedemikian menggunakan Offload, anda boleh menggunakannya dengan selamat kerana data anda tidak meninggalkan peranti anda, dan dengan itu, ia tidak boleh didedahkan.

Ini amat penting dalam industri yang berfungsi dengan data yang sangat sensitif, seperti penjagaan kesihatan, undang-undang, apl pemprosesan dokumen, pembantu peribadi, dsb.

Sepadukan Offload dalam aplikasi anda hari ini!

Atas ialah kandungan terperinci Offload - SDK javascript bersatu yang mendayakan AI dalam penyemak imbas. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!