Bertanggungjawab AI dalam era AI generatif

Pengenalan

Kami kini hidup di zaman kecerdasan buatan, di mana segala -galanya di sekeliling kita semakin pintar pada hari itu. Model bahasa besar yang terkini (LLMS) dan agen AI, mampu melaksanakan tugas-tugas yang kompleks dengan campur tangan manusia yang minimum. Dengan teknologi canggih seperti itu, keperluan untuk membangun dan menggunakannya secara bertanggungjawab. Artikel ini didasarkan pada bengkel Bhaskarjit Sarmah di Sidang Kemuncak Datahack 2024, kita akan belajar bagaimana untuk membina AI yang bertanggungjawab, dengan tumpuan khusus pada model AI (genai) generatif. Kami juga akan meneroka garis panduan Rangka Kerja Pengurusan Risiko Institut Piawaian dan Teknologi Kebangsaan (NIST), yang ditetapkan untuk memastikan pembangunan dan penggunaan AI yang bertanggungjawab.

Gambaran Keseluruhan

• Fahami apa yang bertanggungjawab AI dan mengapa ia penting.
• Ketahui tentang 7 tiang AI yang bertanggungjawab dan bagaimana rangka kerja NIST membantu membangun dan menggunakan AI yang bertanggungjawab.
• Fahami apa halusinasi dalam model AI dan bagaimana ia dapat dikesan.
• Ketahui cara membina model AI yang bertanggungjawab.

Jadual Kandungan

• Pengenalan
• Apa yang bertanggungjawab AI?
• Mengapa AI bertanggungjawab penting?
• 7 tiang AI yang bertanggungjawab
  • Memperbaiki ketidakpastian dalam kandungan AI yang dihasilkan
  • Memastikan keselamatan respons AI yang dihasilkan
  • Meningkatkan keselamatan model genai
  • Meningkatkan akauntabiliti model genai
  • Memastikan ketelusan tindak balas yang dihasilkan AI
  • Menggabungkan keadilan dalam model genai
  • Melindungi privasi dalam respons yang dihasilkan AI
• Apakah halusinasi dalam model genai?
• Bagaimana untuk mengesan halusinasi dalam model genai?
• Membina AI yang bertanggungjawab
• Kesimpulan
• Soalan yang sering ditanya

Apa yang bertanggungjawab AI?

Bertanggungjawab AI merujuk kepada mereka bentuk, membangun, dan menggunakan sistem AI yang mengutamakan pertimbangan etika, keadilan, ketelusan, dan akauntabiliti. Ia menangani kebimbangan mengenai kecenderungan, privasi, dan keselamatan, untuk menghapuskan kesan negatif yang berpotensi terhadap pengguna dan komuniti. Ia bertujuan untuk memastikan teknologi AI diselaraskan dengan nilai -nilai manusia dan keperluan masyarakat.

Bangunan yang bertanggungjawab AI adalah proses pelbagai langkah. Ini melibatkan pelaksanaan garis panduan dan piawaian untuk penggunaan data, reka bentuk algoritma, dan proses membuat keputusan. Ia melibatkan mengambil input dari pelbagai pihak berkepentingan dalam proses pembangunan untuk melawan sebarang kecenderungan dan memastikan keadilan. Proses ini juga memerlukan pemantauan berterusan sistem AI untuk mengenal pasti dan membetulkan apa -apa akibat yang tidak diingini. Matlamat utama AI yang bertanggungjawab adalah untuk membangunkan teknologi yang memberi manfaat kepada masyarakat semasa memenuhi piawaian etika dan undang -undang.

Watch Disyorkan: Meneroka AI Bertanggungjawab: Wawasan, Rangka Kerja & Inovasi dengan Ravit Dotan | Memimpin dengan data 37

Mengapa AI bertanggungjawab penting?

LLM dilatih dalam dataset besar yang mengandungi pelbagai maklumat yang terdapat di Internet. Ini mungkin termasuk kandungan berhak cipta bersama dengan maklumat sulit dan peribadi yang boleh dikenalpasti (PII). Akibatnya, respons yang dibuat oleh model AI generatif boleh menggunakan maklumat ini dengan cara yang menyalahi undang -undang atau berbahaya.

Ini juga menimbulkan risiko orang yang menipu model Genai untuk memberikan PII seperti ID e -mel, nombor telefon, dan maklumat kad kredit. Oleh itu, adalah penting untuk memastikan model bahasa tidak menjana semula kandungan berhak cipta, menghasilkan output toksik, atau memberikan sebarang PII.

Dengan lebih banyak tugas yang mendapat automatik oleh AI, kebimbangan lain yang berkaitan dengan kecenderungan, keyakinan, dan ketelusan respons AI-Generated juga semakin meningkat.

Sebagai contoh, model klasifikasi sentimen secara tradisinya dibina menggunakan pemproses bahasa semulajadi asas (NLP). Walau bagaimanapun, ini adalah proses yang panjang, yang termasuk mengumpul data, melabelkan data, melakukan pengekstrakan ciri, melatih model, menala hyperparameters, dan lain -lain. Walau bagaimanapun, jika data latihan model termasuk sebarang kecenderungan, ini akan menghasilkan model yang menjana output berat sebelah. Ini adalah kebimbangan utama, terutamanya dalam model membuat keputusan.

Ini hanya beberapa sebab utama mengapa pembangunan AI yang bertanggungjawab adalah keperluan jam.

7 tiang AI yang bertanggungjawab

Pada bulan Oktober 2023, Presiden AS Biden mengeluarkan perintah eksekutif yang menyatakan bahawa aplikasi AI mesti digunakan dan digunakan dengan cara yang selamat, selamat, dan boleh dipercayai. Berikutan perintahnya, NIST telah menetapkan beberapa piawaian yang ketat yang mesti diikuti oleh pemaju AI sebelum melepaskan mana -mana model baru. Peraturan ini ditetapkan untuk menangani beberapa cabaran terbesar yang dihadapi mengenai penggunaan AI generatif yang selamat.

7 tiang AI yang bertanggungjawab, seperti yang dinyatakan dalam rangka kerja pengurusan risiko NIST adalah:

1. Ketidakpastian
2. Keselamatan
3. Keselamatan
4. Akauntabiliti
5. Ketelusan
6. Keadilan
7. Privasi

Mari kita meneroka setiap garis panduan ini secara terperinci untuk melihat bagaimana mereka membantu dalam membangunkan model genai yang bertanggungjawab.

1. Memperbaiki ketidakpastian dalam kandungan AI yang dihasilkan

Model pembelajaran mesin, genai atau sebaliknya, tidak 100% tepat. Ada kalanya mereka memberikan respons yang tepat dan ada kalanya output boleh diramalkan. Bagaimanakah kita tahu kapan untuk mempercayai tindak balas model AI, dan kapan meragukannya?

Salah satu cara untuk menangani isu ini adalah dengan memperkenalkan skor halusinasi atau skor keyakinan untuk setiap respons. Skor keyakinan pada dasarnya adalah ukuran untuk memberitahu kami bagaimana model itu adalah ketepatan tindak balasnya. Sebagai contoh, jika model itu 20% atau 90% pasti. Ini akan meningkatkan kepercayaan respons AI yang dihasilkan.

Bagaimana keyakinan model dikira?

Terdapat 3 cara untuk mengira skor keyakinan tindak balas model.

• Ramalan Conformal: Kaedah statistik ini menghasilkan set ramalan yang termasuk label sebenar dengan kebarangkalian yang ditentukan. Ia memeriksa dan memastikan jika ramalan yang ditetapkan memenuhi keperluan jaminan.
• Kaedah berasaskan entropi: Kaedah ini mengukur ketidakpastian ramalan model dengan mengira entropi pengagihan kebarangkalian ke atas kelas yang diramalkan.
• Kaedah Bayesian: Kaedah ini menggunakan pengagihan kebarangkalian untuk mewakili ketidakpastian respons. Walaupun kaedah ini adalah intensif secara komputasi, ia memberikan ukuran ketidakpastian yang lebih komprehensif.

2. Memastikan keselamatan respons yang dihasilkan AI

Keselamatan menggunakan model AI adalah satu lagi kebimbangan yang perlu ditangani. LLMs kadang -kadang boleh menjana tindak balas toksik, kebencian, atau berat sebelah kerana kandungan tersebut mungkin wujud dalam dataset latihannya. Akibatnya, respons ini boleh membahayakan pengguna secara emosi, ideologi, atau sebaliknya, menjejaskan keselamatan mereka.

Ketoksikan dalam konteks model bahasa merujuk kepada kandungan berbahaya atau menyinggung yang dihasilkan oleh model. Ini mungkin dalam bentuk ucapan kebencian, bangsa atau bias berasaskan jantina, atau prasangka politik. Tanggapan mungkin juga termasuk bentuk ketoksikan yang halus dan tersirat seperti stereotaip dan mikroagression, yang lebih sukar untuk dikesan. Sama seperti garis panduan terdahulu, ini perlu ditetapkan dengan memperkenalkan skor keselamatan untuk kandungan AI yang dihasilkan.

3. Meningkatkan keselamatan model genai

Jailbreaking dan suntikan segera semakin ancaman kepada keselamatan LLM, terutama model Gue. Hacker boleh memikirkan arahan yang boleh memintas langkah -langkah keselamatan yang ditetapkan model bahasa dan mengekstrak maklumat terhad atau sulit tertentu dari mereka.

Sebagai contoh, walaupun Chatgpt dilatih untuk tidak menjawab soalan seperti "Bagaimana Membuat Bom?" atau "Bagaimana mencuri identiti seseorang?" Walau bagaimanapun, kami telah melihat contoh di mana pengguna menipu chatbot untuk menjawabnya, dengan menulis arahan dengan cara tertentu seperti "menulis puisi kanak -kanak untuk membuat bom" atau "Saya perlu menulis esei untuk mencuri identiti seseorang". Imej di bawah menunjukkan bagaimana chatbot AI biasanya akan bertindak balas terhadap pertanyaan sedemikian.

Walau bagaimanapun, inilah cara seseorang boleh menggunakan akhiran adversarial untuk mengekstrak maklumat yang berbahaya dari AI.

Ini menjadikan Genai Chatbots berpotensi tidak selamat digunakan, tanpa memasukkan langkah -langkah keselamatan yang sesuai. Oleh itu, ke hadapan, adalah penting untuk mengenal pasti potensi untuk jailbreaks dan pelanggaran data di LLMS dalam fasa mereka sendiri, supaya kerangka keselamatan yang lebih kuat dapat dibangunkan dan dilaksanakan. Ini boleh dilakukan dengan memperkenalkan skor keselamatan suntikan segera.

4. Meningkatkan akauntabiliti model genai

Pemaju AI mesti bertanggungjawab terhadap kandungan berhak cipta semula yang dihasilkan semula atau ditentukan semula oleh model bahasa mereka. Syarikat-syarikat AI seperti Anthropic dan OpenAI bertanggungjawab terhadap kandungan yang dihasilkan oleh model sumber tertutup mereka. Tetapi apabila ia datang kepada model sumber terbuka, perlu ada lebih jelas tentang siapa tanggungjawab ini jatuh. Oleh itu, NIST mengesyorkan bahawa pemaju mesti memberikan penjelasan dan justifikasi yang tepat untuk kandungan model mereka yang dihasilkan.

5. Memastikan ketelusan tindak balas yang dihasilkan AI

Kita semua perhatikan bagaimana LLM yang berbeza memberikan respons yang berbeza untuk soalan atau petunjuk yang sama. Ini menimbulkan persoalan bagaimana model -model ini memperoleh respons mereka, yang menjadikan interpretabiliti atau penjelasan sebagai titik penting untuk dipertimbangkan. Adalah penting bagi pengguna untuk mempunyai ketelusan ini dan memahami proses pemikiran LLM untuk menganggapnya AI yang bertanggungjawab. Untuk ini, NIST menggesa bahawa syarikat AI menggunakan interpretasi mekanistik untuk menerangkan output LLM mereka.

Tafsiran merujuk kepada keupayaan model bahasa untuk menjelaskan alasan dalam respons mereka, dengan cara yang dapat difahami oleh manusia. Ini membantu dalam membuat model dan respons mereka lebih boleh dipercayai. Tafsiran atau penjelasan model AI boleh diukur menggunakan ujian Shap (Shapley Additive Penjelasan), seperti yang ditunjukkan dalam imej di bawah.

Mari lihat contoh untuk memahami perkara ini dengan lebih baik. Di sini, model itu menerangkan bagaimana ia menghubungkan perkataan 'vodka' kepada 'Rusia', dan membandingkannya dengan maklumat dari data latihan, untuk menyimpulkan bahawa 'Rusia suka vodka'.

6. Menggabungkan keadilan dalam model genai

LLMS, secara lalai, boleh menjadi berat sebelah, kerana mereka dilatih pada data yang dicipta oleh pelbagai manusia, dan manusia mempunyai kecenderungan mereka sendiri. Oleh itu, keputusan yang dibuat oleh Gen AI juga boleh berat sebelah. Sebagai contoh, apabila chatbot AI diminta untuk menjalankan analisis sentimen dan mengesan emosi di sebalik tajuk berita, ia mengubah jawapannya berdasarkan nama negara, kerana kecenderungan. Akibatnya, tajuk dengan perkataan 'us' dikesan untuk menjadi positif, sementara tajuk yang sama dikesan sebagai neutral apabila negara adalah 'Afghanistan'.

Bias adalah masalah yang lebih besar ketika datang ke tugas-tugas seperti pengambilan berasaskan AI, pemprosesan pinjaman bank, dan lain-lain. Di mana AI mungkin membuat pilihan berdasarkan kecenderungan. Salah satu penyelesaian yang paling berkesan untuk masalah ini ialah memastikan data latihan tidak berat sebelah. Dataset latihan perlu diperiksa untuk melihat kecenderungan dan dilaksanakan dengan protokol keadilan.

7. Melindungi privasi dalam respons AI yang dihasilkan

Kadang-kadang, respons AI-dihasilkan mungkin mengandungi maklumat peribadi seperti nombor telefon, ID e-mel, gaji pekerja, dan lain-lain. PII tersebut tidak boleh diberikan kepada pengguna kerana ia melanggar privasi dan meletakkan identiti orang yang berisiko. Privasi dalam model bahasa adalah aspek penting dari AI yang bertanggungjawab. Pemaju mesti melindungi data pengguna dan memastikan kerahsiaan, mempromosikan penggunaan etika AI. Ini boleh dilakukan dengan melatih LLM untuk mengenal pasti dan tidak bertindak balas terhadap petunjuk yang bertujuan untuk mengekstrak maklumat tersebut.

Berikut adalah contoh bagaimana model AI dapat mengesan PII dalam satu ayat dengan memasukkan beberapa penapis di tempatnya.

Apakah halusinasi dalam model genai?

Selain daripada cabaran yang dijelaskan di atas, satu lagi kebimbangan kritikal yang perlu ditangani untuk membuat model genai yang bertanggungjawab adalah halusinasi.

Hallucination adalah fenomena di mana model AI generatif mencipta maklumat baru dan tidak wujud yang tidak sepadan dengan input yang diberikan oleh pengguna. Maklumat ini sering bertentangan dengan model yang dihasilkan sebelum ini, atau menentang fakta yang diketahui. Sebagai contoh, jika anda bertanya beberapa LLM "beritahu saya tentang krim kasut Haldiram?" Mereka mungkin membayangkan produk fiksyen yang tidak wujud dan menjelaskan kepada anda mengenai produk itu.

Bagaimana untuk mengesan halusinasi dalam model genai?

Kaedah yang paling biasa untuk menetapkan halusinasi dalam model genai adalah dengan mengira skor halusinasi menggunakan LLM-as-a-judge. Dalam kaedah ini, kami membandingkan tindak balas model terhadap tiga jawapan tambahan yang dihasilkan oleh Hakim LLM, untuk segera. Hasilnya dikategorikan sama ada tepat, atau dengan ketidaktepatan kecil, atau dengan ketepatan utama, bersamaan dengan skor 0, 0.5, dan 1. Purata skor perbandingan 3 diambil sebagai skor halusinasi berasaskan konsistensi, seperti idea di sini adalah untuk memeriksa respons untuk konsistensi.

Sekarang, kami membuat perbandingan yang sama sekali lagi, tetapi berdasarkan persamaan semantik. Untuk ini, kami mengira persamaan kosinus pasangan antara respons untuk mendapatkan skor kesamaan. Purata skor ini (purata pada tahap kalimat) kemudian dikurangkan dari 1 untuk mendapatkan skor halusinasi berasaskan semantik. Hipotesis yang mendasari di sini adalah bahawa tindak balas halusinasi akan menunjukkan persamaan semantik yang lebih rendah apabila tindak balas dihasilkan beberapa kali.

Skor halusinasi terakhir dikira sebagai purata skor halusinasi berasaskan konsistensi dan skor halusinasi berasaskan semantik.

Lebih banyak cara untuk mengesan halusinasi dalam model genai

Berikut adalah beberapa kaedah lain yang digunakan untuk mengesan halusinasi dalam respons AI-dihasilkan:

• Rantai-of-Knowledge: Kaedah ini secara dinamik menyemak kandungan yang dihasilkan kepada maklumat tanah dari pelbagai sumber untuk mengukur ketepatan fakta.
• Rantai NLI: Ini adalah kerangka hierarki yang mengesan kesilapan yang berpotensi dalam teks yang dihasilkan. Ia pertama kali dilakukan di peringkat ayat, diikuti dengan pemeriksaan yang lebih terperinci di peringkat entiti.
• Konteks Pematuhan: Ini adalah ukuran halusinasi domain tertutup, yang bermaksud situasi di mana model menghasilkan maklumat yang tidak disediakan dalam konteksnya.
• Ketepatan: Pemeriksaan ini sama ada tindak balas model yang diberikan adalah faktual atau tidak. Ketepatan adalah cara yang baik untuk mengungkap halusinasi domain terbuka atau kesilapan fakta yang tidak berkaitan dengan dokumen atau konteks tertentu.
• Ketidakpastian: Ini mengukur berapa model secara rawak menentukan antara pelbagai cara untuk meneruskan output. Ia diukur pada kedua -dua tahap token dan tahap tindak balas.

Membina AI yang bertanggungjawab

Sekarang kita faham bagaimana untuk mengatasi cabaran -cabaran yang sedang dibangunkan AI yang bertanggungjawab, mari kita lihat bagaimana AI dapat dibina dan digunakan secara bertanggungjawab.

Berikut adalah rangka asas model AI yang bertanggungjawab:

Imej di atas menunjukkan apa yang diharapkan dari model bahasa yang bertanggungjawab semasa proses penjanaan tindak balas. Model ini mesti memeriksa prompt untuk ketoksikan, pengenalan PII, percubaan jailbreaking, dan pengesanan luar topik, sebelum memprosesnya. Ini termasuk mengesan arahan yang mengandungi bahasa yang kasar, meminta tindak balas yang berbahaya, meminta maklumat sulit, dan lain -lain. Dalam hal pengesanan sedemikian, model harus menolak untuk memproses atau menjawab prompt.

Sebaik sahaja model mengenal pasti prompt untuk selamat, ia boleh bergerak ke peringkat penjanaan tindak balas. Di sini, model mesti menyemak tafsiran, skor halusinasi, skor keyakinan, skor keadilan, dan skor ketoksikan respons yang dihasilkan. Ia juga mesti memastikan tiada kebocoran data dalam output akhir. Sekiranya mana -mana skor ini tinggi, ia mesti memberi amaran kepada pengguna. Untuk contohnya. Sekiranya skor halusinasi respons adalah 50%, model mesti memberi amaran kepada pengguna bahawa tindak balas mungkin tidak tepat.

Kesimpulan

Memandangkan AI terus berkembang dan mengintegrasikan ke dalam pelbagai aspek kehidupan kita, bangunan yang bertanggungjawab AI lebih penting daripada sebelumnya. Rangka kerja pengurusan risiko NIST menetapkan garis panduan penting untuk menangani cabaran kompleks yang ditimbulkan oleh model AI generatif. Melaksanakan prinsip -prinsip ini memastikan bahawa sistem AI adalah selamat, telus, dan saksama, memupuk kepercayaan di kalangan pengguna. Ia juga akan mengurangkan potensi risiko seperti output berat sebelah, pelanggaran data, dan maklumat yang salah.

Jalan ke AI yang bertanggungjawab melibatkan ujian yang ketat dan akauntabiliti dari pemaju AI. Pada akhirnya, memeluk amalan AI yang bertanggungjawab akan membantu kita memanfaatkan potensi penuh teknologi AI sambil melindungi individu, komuniti, dan masyarakat yang lebih luas dari bahaya.

Soalan yang sering ditanya

Q1. Apa itu AI yang bertanggungjawab?

A. Bertanggungjawab AI merujuk kepada mereka bentuk, membangun, dan menggunakan sistem AI yang mengutamakan pertimbangan etika, keadilan, ketelusan, dan akauntabiliti. Ia menangani kebimbangan mengenai kecenderungan, privasi, keselamatan, dan potensi kesan negatif terhadap individu dan komuniti.

S2. Apakah 7 prinsip AI yang bertanggungjawab?

A. Seperti rangka pengurusan risiko NIST, 7 tiang AI yang bertanggungjawab adalah: ketidakpastian, keselamatan, keselamatan, akauntabiliti, ketelusan, keadilan, dan privasi.

Q3. Apakah tiga tiang AI yang bertanggungjawab?

A. Tiga tiang AI yang bertanggungjawab adalah orang, proses, dan teknologi. Orang merujuk kepada siapa yang membina AI anda dan siapa yang dibina. Proses adalah mengenai bagaimana AI sedang dibina. Teknologi merangkumi topik apa yang dibina AI, apa yang dilakukannya, dan bagaimana ia berfungsi.

Q4. Apakah beberapa alat untuk membuat AI bertanggungjawab?

A. Fiddler AI, Galileo's Protect Firewall, Nemo Guardrails Nvidia (sumber terbuka), dan Nemo Evaluator adalah beberapa alat yang paling berguna untuk memastikan model AI anda bertanggungjawab. Senibina NIM NVIDIA juga berguna bagi pemaju untuk mengatasi cabaran membina aplikasi AI. Alat lain yang boleh digunakan ialah Lynx, yang merupakan model penilaian halusinasi sumber terbuka.

S5. Apakah halusinasi dalam AI?

A. Halusinasi adalah fenomena di mana model AI generatif mencipta maklumat baru dan tidak wujud yang tidak sepadan dengan input yang diberikan oleh pengguna. Maklumat ini sering bertentangan dengan model yang dihasilkan sebelum ini, atau menentang fakta yang diketahui.

S6. Bagaimana untuk mengesan halusinasi AI?

A. Mengesan rantaian pengetahuan, melaksanakan rangkaian sistem pemeriksaan NLI, mengira kepatuhan konteks, skor ketepatan, dan skor ketidakpastian, dan menggunakan LLM sebagai hakim adalah beberapa cara untuk mengesan halusinasi dalam AI.

Atas ialah kandungan terperinci Bertanggungjawab AI dalam era AI generatif. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!