Tiga rahsia untuk menggunakan model besar dalam awan

. . Saya mula merindui pengkomputeran awan tanpa pelayan. Aplikasi mereka terdiri daripada meningkatkan AI perbualan kepada menyediakan penyelesaian analitik yang kompleks untuk pelbagai industri, dan banyak lagi keupayaan lain. Banyak perusahaan menggunakan model ini pada platform awan kerana penyedia awan awam sudah menyediakan ekosistem siap sedia dan ia merupakan laluan yang paling tidak mempunyai rintangan. Walau bagaimanapun, ia tidak murah.

Awan juga menyediakan faedah lain seperti kebolehskalaan, kecekapan dan kuasa pengkomputeran lanjutan (GPU atas permintaan). Proses menggunakan LLM pada platform awan awam mempunyai beberapa rahsia yang kurang diketahui yang boleh memberi impak yang besar kepada kejayaan atau kegagalan. Mungkin kerana tidak ramai pakar AI yang berurusan dengan LLM, dan kerana kami belum mempunyai banyak pengalaman dalam bidang ini, terdapat banyak jurang dalam sistem pengetahuan kami.

Mari terokai tiga "helah" yang kurang diketahui apabila menggunakan LLM pada awan, mungkin juga jurutera AI anda tidak tahu. Memandangkan jurutera ini sering membuat lebih $300,000 setahun, mungkin sudah tiba masanya untuk memikirkan butiran tentang apa yang mereka lakukan. Saya melihat semua orang bergegas ke arah menjadi AI seperti rambut mereka terbakar, tetapi melakukan lebih banyak kesilapan berbanding sebelum ini.

1. Keberkesanan kos dan skalabiliti pengurusan

Salah satu tarikan utama untuk menggunakan LLM pada platform awan ialah keupayaan untuk menskalakan sumber atas permintaan. Kami tidak perlu menjadi perancang kapasiti yang baik kerana platform awan mempunyai sumber yang kami hanya klik pada tetikus atau peruntukkan secara automatik.

Namun, tunggu, kami akan melakukan kesilapan yang sama yang kami lakukan semasa menggunakan pengkomputeran awan. Mengurus kos semasa menskalakan adalah kemahiran yang ramai orang memerlukan bantuan menavigasi dengan berkesan. Ambil perhatian bahawa perkhidmatan awan biasanya mengenakan bayaran berdasarkan sumber pengkomputeran yang digunakan, ia beroperasi seperti utiliti. Lebih banyak anda memproses, lebih banyak anda membayar. Memandangkan kos GPU lebih tinggi (dan menggunakan lebih banyak kuasa), ini merupakan kebimbangan utama apabila menggunakan LLM yang disediakan oleh penyedia awan awam.

Sila pastikan anda menggunakan alatan pengurusan kos, termasuk yang disediakan oleh platform awan dan alatan yang disediakan oleh tadbir urus kos pihak ketiga yang boleh dipercayai dan penyedia perkhidmatan pemantauan (finops). Contohnya, laksanakan penskalaan dan penjadualan automatik, pilih jenis tika yang betul atau gunakan tika yang boleh didahulukan untuk mengoptimumkan kos. Selain itu, ingat untuk memantau penggunaan anda secara berterusan dan melaraskan sumber berdasarkan penggunaan dan bukannya beban yang diramalkan sahaja. Ini bermakna mengelakkan peruntukan berlebihan pada semua kos (dapatkan kata-kata saya di sini?).

2. Privasi Data dalam Persekitaran Berbilang Penyewa

Menggunakan LLM selalunya melibatkan pemprosesan sejumlah besar data dan model pengetahuan latihan, yang mungkin mengandungi data sensitif atau proprietari. Risiko menggunakan awan awam ialah "jiran" anda adalah dalam bentuk kejadian pemprosesan yang dijalankan pada perkakasan fizikal yang sama. Oleh itu, storan awan awam membawa risiko bahawa semasa penyimpanan dan pemprosesan data, data boleh diakses oleh mesin maya lain yang berjalan pada perkakasan fizikal yang sama di pusat data awan awam. Untuk menyelesaikan masalah ini, banyak penyedia awan awam menawarkan pilihan keselamatan awan untuk perusahaan. Pilihan ini menyediakan pengasingan dan perlindungan data anda daripada akses oleh mesin maya lain yang dijalankan pada perkakasan fizikal. Satu lagi isu keselamatan ialah penghantaran data semasa penyimpanan dan pemprosesan. Data mungkin dihantar melalui rangkaian awan awam, yang bermaksud ia mungkin dipintas atau didengari semasa penghantaran. Untuk menyelesaikan masalah ini, awan awam biasanya menyediakan penyulitan dan protokol penghantaran selamat untuk melindungi keselamatan data semasa penghantaran. Secara keseluruhannya, menggunakan LLM

Jika anda bertanya kepada penyedia awan awam tentang perkara ini, mereka akan tergesa-gesa keluar dengan pembentangan PowerPoint terbaharu mereka yang menunjukkan betapa mustahilnya. Walaupun ini kebanyakannya benar, ia tidak sepenuhnya tepat. Risiko ini wujud dengan semua sistem berbilang penyewa yang anda perlukan untuk mengurangkannya. Saya telah mendapati bahawa lebih kecil penyedia awan, seperti yang hanya beroperasi di satu negara, lebih besar kemungkinan masalah ini berlaku. Ini terpakai kepada stor data dan LLM.

Rahsianya ialah memilih penyedia awan yang memenuhi dan membuktikan piawaian keselamatan yang ketat: penyulitan data semasa rehat dan dalam transit, pengurusan identiti dan akses (IAM) dan dasar pengasingan. Sudah tentu, adalah lebih baik untuk melaksanakan dasar keselamatan anda sendiri dan susunan teknologi keselamatan untuk memastikan bahawa menggunakan LLM berbilang penyewa pada awan adalah kurang berisiko.

3. Mengendalikan penggunaan model stateful

Model bahasa besar (LLM) kebanyakannya stateful, bermakna mereka mengekalkan maklumat dari satu interaksi ke interaksi seterusnya. Pendekatan lama ini menawarkan faedah baharu: keupayaan untuk menjadi lebih cekap dalam senario pembelajaran berterusan. Walau bagaimanapun, mengurus keadaan model ini dalam persekitaran awan adalah mencabar kerana keadaan dalam persekitaran awan mungkin bersifat sementara atau tanpa kewarganegaraan mengikut reka bentuk.

Alat orkestrasi yang menyokong penggunaan stateful (seperti Kubernetes) sangat membantu. Mereka boleh memanfaatkan pilihan storan berterusan untuk model bahasa yang besar dan dikonfigurasikan untuk mengekalkan dan memanipulasi keadaan mereka merentas sesi. Anda perlu melakukan ini untuk menyokong kesinambungan dan prestasi model bahasa yang besar.

Dengan pertumbuhan pesat kecerdasan buatan generatif, menggunakan model bahasa besar pada platform awan adalah satu kesimpulan yang tidak dapat dielakkan. Bagi kebanyakan perniagaan, tidak menggunakan awan adalah terlalu menyusahkan. Kebimbangan saya tentang kegilaan yang seterusnya ialah kita akan terlepas beberapa masalah yang mudah diselesaikan dan membuat kesilapan besar dan mahal yang kebanyakannya boleh dielakkan pada akhirnya.

Untuk mengetahui lebih lanjut tentang AIGC, sila layari:

51CTO AI.x Community

https://www.51cto.com/aigc/

Atas ialah kandungan terperinci Tiga rahsia untuk menggunakan model besar dalam awan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!