ChatGPT dan model bahasa besar: apakah risikonya?
Model bahasa berskala besar (LLM) dan AI chatbots menarik minat seluruh dunia disebabkan oleh keluaran ChatGPT pada akhir 2022 dan kemudahan pertanyaan yang disediakannya. Ia kini merupakan salah satu aplikasi pengguna yang paling pesat berkembang sepanjang masa, dan popularitinya mendorong ramai pesaing untuk membangunkan perkhidmatan dan model mereka sendiri, atau dengan cepat menggunakan aplikasi yang telah mereka bangunkan secara dalaman.
Seperti mana-mana teknologi baru muncul, sentiasa ada kebimbangan tentang maksud ini untuk keselamatan. Blog ini baru-baru ini telah mempertimbangkan beberapa aspek keselamatan siber ChatGPT dan LLM secara lebih umum.
Apakah itu ChatGPT dan apakah itu LLM?
ChatGPT ialah chatbot kecerdasan buatan yang dibangunkan oleh permulaan teknologi Amerika OpenAI. Ia berdasarkan GPT-3, model bahasa yang dikeluarkan pada tahun 2020 yang menggunakan pembelajaran mendalam untuk menjana teks seperti manusia, tetapi teknologi LLM asas telah wujud sejak sekian lama.
LLM ialah tempat algoritma dilatih mengenai sejumlah besar data berasaskan teks, sering dikikis daripada internet terbuka, sekali gus meliputi halaman web dan – bergantung pada LLM – sumber lain , seperti penyelidikan saintifik, buku, atau siaran media sosial ini merangkumi sejumlah besar data sehingga mustahil untuk menapis semua kandungan yang tidak menyenangkan atau tidak tepat apabila tertelan, jadi kandungan "kontroversial" mungkin akan dimasukkan ke dalam model tersebut.
Algoritma ini menganalisis hubungan antara perkataan yang berbeza dan menukarnya kepada model kebarangkalian. Algoritma kemudiannya boleh diberi "petunjuk" (contohnya, dengan bertanya soalan) dan ia akan memberikan jawapan berdasarkan perhubungan perkataan dalam modelnya.
Lazimnya, data dalam modelnya adalah statik selepas latihan, walaupun ia boleh diperbaiki melalui "penalaan halus" (latihan mengenai data tambahan) dan "pembesaran pembayang" (menyediakan maklumat kontekstual tentang masalah). Contoh peningkatan segera mungkin:
Dengan mengambil kira maklumat di bawah, bagaimana anda akan menerangkan...
Kemudian menyalin kemungkinan sejumlah besar teks (atau keseluruhan dokumen) ke dalam gesaan/soalan .
ChatGPT dengan berkesan membolehkan pengguna bertanya soalan LLM seperti yang anda lakukan dalam perbualan dengan chatbot. Contoh terbaru LLM yang lain termasuk pengumuman daripada Bard Google dan LLaMa Meta (untuk kertas saintifik).
LL.M.s sememangnya mengagumkan kerana keupayaan mereka menjana banyak kandungan yang menarik dalam pelbagai bahasa manusia dan komputer. Walau bagaimanapun, mereka bukan sihir, dan juga bukan kecerdasan am buatan, dan mengandungi beberapa kelemahan yang serius, termasuk:
- Mereka boleh membuat kesilapan dan "menghaluskan" fakta yang salah
- Mereka boleh berat sebelah dan sering mudah tertipu (cth. semasa menjawab soalan utama)
- Mereka memerlukan sumber pengkomputeran yang besar dan sejumlah besar data untuk dilatih dari awal
- Mereka boleh ditipu untuk mencipta kandungan toksik dan terdedah kepada "serangan suntikan"
Adakah LLM membocorkan maklumat saya?
Kebimbangan biasa ialah LLM mungkin "belajar" daripada gesaan anda dan memberikan maklumat tersebut kepada orang lain yang menanyakan kandungan berkaitan. Terdapat beberapa sebab untuk dibimbangkan di sini, tetapi bukan atas sebab yang dipertimbangkan oleh ramai orang. Pada masa ini, LLM dilatih dan kemudian model yang dihasilkan ditanya. LLM tidak (pada masa penulisan) secara automatik menambah maklumat daripada pertanyaan kepada modelnya untuk orang lain bertanya. Iaitu, memasukkan maklumat dalam pertanyaan tidak akan menyebabkan data tersebut dimasukkan ke dalam LLM.
Walau bagaimanapun, pertanyaan akan dapat dilihat oleh organisasi yang menyediakan LLM (untuk ChatGPT, juga untuk OpenAI). Pertanyaan ini disimpan dan hampir pasti akan digunakan pada satu ketika untuk membangunkan perkhidmatan atau model LLM. Ini mungkin bermakna pembekal LLM (atau rakan kongsi/kontraktornya) boleh membaca pertanyaan dan mungkin memasukkannya ke dalam keluaran masa hadapan dalam beberapa cara. Oleh itu, anda perlu memahami sepenuhnya Syarat Penggunaan dan Dasar Privasi sebelum bertanya soalan sensitif.
Sesuatu soalan mungkin sensitif kerana data yang terkandung dalam pertanyaan, atau kerana siapa (dan bila) bertanya soalan itu. Contoh yang terakhir mungkin adalah jika didapati bahawa Ketua Pegawai Eksekutif telah bertanya "Cara terbaik untuk memecat pekerja?", atau jika seseorang telah bertanya soalan kesihatan atau perhubungan yang mendedahkan. Juga ingat untuk menggunakan log masuk yang sama untuk mengagregatkan maklumat merentas berbilang pertanyaan.
Satu lagi risiko yang meningkat apabila lebih banyak organisasi menghasilkan LLM ialah pertanyaan yang disimpan dalam talian boleh digodam, dibocorkan atau kemungkinan besar boleh diakses secara terbuka secara tidak sengaja. Ini mungkin termasuk maklumat yang mungkin mengenal pasti pengguna. Risiko lain ialah pengendali LLM kemudiannya diperoleh oleh organisasi yang menggunakan pendekatan privasi yang berbeza daripada semasa pengguna memasukkan data mereka.
Oleh itu, NCSC mengesyorkan:
- Jangan masukkan maklumat sensitif dalam pertanyaan kepada LLM awam
- Jangan serahkan pertanyaan kepada LLM awam yang akan menyebabkan masalah
Bagaimanakah saya boleh menyerahkan pertanyaan kepada LLM dengan selamat Maklumat sensitif?
Dengan peningkatan LLM, banyak organisasi mungkin tertanya-tanya sama ada mereka boleh menggunakan LLM untuk mengautomasikan tugas perniagaan tertentu, yang mungkin melibatkan penyediaan maklumat sensitif melalui penalaan halus atau penambahan tepat pada masanya. Walaupun pendekatan ini tidak disyorkan untuk LLM awam, "LLM peribadi" mungkin disediakan oleh penyedia awan (contohnya), atau mungkin dihoskan sendiri sepenuhnya:
- Untuk LLM yang disediakan awan, Syarat Penggunaan dan dasar Privasi sekali lagi penting (seperti untuk LLM awam), tetapi lebih berkemungkinan konsisten dengan syarat sedia ada perkhidmatan awan. Organisasi perlu memahami cara mengurus data yang digunakan untuk penalaan halus atau pembesaran segera. Bolehkah penyelidik atau rakan kongsi vendor menggunakannya? Jika ya, dalam bentuk apa? Adakah data dikongsi secara individu atau secara agregat dengan organisasi lain? Dalam keadaan apakah pekerja pembekal boleh melihat pertanyaan?
- LLM yang dihoskan sendiri boleh menjadi sangat mahal. Walau bagaimanapun, selepas penilaian keselamatan, mereka mungkin sesuai untuk memproses data organisasi. Khususnya, organisasi harus merujuk kepada panduan kami tentang melindungi infrastruktur dan rantaian bekalan data.
Adakah LLM memudahkan kehidupan penjenayah siber?
Terdapat beberapa demonstrasi yang luar biasa tentang cara LLM boleh membantu menulis perisian hasad. Kebimbangannya ialah LLM boleh membantu individu yang berniat jahat (tetapi tidak mahir) mencipta alat yang tidak akan dapat mereka gunakan. Dalam keadaan semasa mereka, LLM kelihatan meyakinkan (sama ada ia atau tidak) dan sesuai untuk tugas yang mudah dan bukannya yang kompleks. Ini bermakna LLM boleh digunakan untuk "membantu pakar menjimatkan masa" kerana pakar boleh mengesahkan output LLM.
Untuk tugasan yang lebih kompleks, pada masa ini lebih mudah bagi pakar untuk mencipta perisian hasad dari awal daripada perlu meluangkan masa untuk membetulkan perkara yang dijana oleh LLM. Walau bagaimanapun, pakar yang mampu mencipta perisian hasad yang berkuasa mungkin boleh memperdaya LLM untuk menulis perisian hasad yang berkuasa. Pertukaran antara "menggunakan LLM untuk mencipta perisian hasad dari awal" dan "mengesahkan perisian hasad buatan LLM" akan berubah apabila LLM bertambah baik.
Anda juga boleh meminta nasihat LLM tentang isu teknikal. Penjenayah boleh menggunakan LLM untuk membantu menjalankan serangan siber melebihi keupayaan semasa mereka, terutamanya selepas penyerang mendapat akses kepada rangkaian. Contohnya, jika penyerang berusaha untuk meningkatkan keistimewaan atau mencari data, mereka mungkin bertanya kepada LLM dan menerima jawapan yang berbeza daripada hasil enjin carian tetapi dengan lebih konteks. LLM semasa memberikan jawapan yang kelihatan meyakinkan tetapi mungkin hanya sebahagiannya betul, terutamanya apabila topik menjadi lebih khusus. Jawapannya mungkin membantu penjenayah melakukan serangan yang tidak boleh mereka lakukan, atau mereka mungkin mencadangkan tindakan untuk mempercepatkan pengesanan penjenayah. Sama ada cara, pertanyaan penyerang boleh disimpan dan dikekalkan oleh pengendali LLM.
Oleh kerana LLM pandai menyalin gaya penulisan atas permintaan, terdapat risiko penjenayah boleh menggunakan LLM untuk menulis e-mel pancingan data yang meyakinkan, termasuk e-mel dalam pelbagai bahasa. Ini boleh membantu penyerang dengan kebolehan teknikal yang tinggi tetapi kurang kemahiran bahasa, membantu mereka mencipta e-mel pancingan data yang meyakinkan (atau menjalankan kejuruteraan sosial) dalam bahasa ibunda sasaran.
Secara keseluruhan, dalam jangka pendek kita mungkin melihat:
- E-mel pancingan data yang lebih meyakinkan disebabkan oleh LLM
- Penyerang mencuba perkara yang mereka tidak akan lakukan sebelum ini Teknologi Familiar
Risiko penyerang yang kurang mahir menulis perisian hasad yang berkuasa juga rendah.
Ringkasan
Ini adalah masa yang menarik untuk LLM, terutamanya dengan ChatGPT menangkap imaginasi dunia. Seperti semua perkembangan teknologi, akan ada orang yang berminat untuk menggunakannya dan mengkaji perkara yang ditawarkannya, dan orang yang mungkin tidak pernah menggunakannya.
Seperti yang telah kami gariskan di atas, sudah pasti terdapat risiko yang berkaitan dengan penggunaan LLM awam tanpa had. Individu dan organisasi harus sangat berhati-hati tentang data yang mereka pilih untuk diserahkan dalam gesaan. Anda harus memastikan bahawa mereka yang ingin mencuba LLM boleh, tetapi berbuat demikian tanpa meletakkan data organisasi pada risiko.
NCSC sedar tentang ancaman (dan peluang) lain yang muncul berkaitan keselamatan siber dan penerimaan LLM, dan kami sudah tentu akan memaklumkan perkara ini kepada anda dalam catatan blog akan datang.
——Disusun daripada UK NCSC
Atas ialah kandungan terperinci ChatGPT dan model bahasa besar: apakah risikonya?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

DALL-E 3 telah diperkenalkan secara rasmi pada September 2023 sebagai model yang jauh lebih baik daripada pendahulunya. Ia dianggap sebagai salah satu penjana imej AI terbaik setakat ini, mampu mencipta imej dengan perincian yang rumit. Walau bagaimanapun, semasa pelancaran, ia adalah tidak termasuk

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

FP8 dan ketepatan pengiraan titik terapung yang lebih rendah bukan lagi "paten" H100! Lao Huang mahu semua orang menggunakan INT8/INT4, dan pasukan Microsoft DeepSpeed memaksa diri mereka menjalankan FP6 pada A100 tanpa sokongan rasmi daripada Nvidia. Keputusan ujian menunjukkan bahawa kaedah baharu TC-FPx FP6 kuantisasi pada A100 adalah hampir atau kadangkala lebih pantas daripada INT4, dan mempunyai ketepatan yang lebih tinggi daripada yang terakhir. Selain itu, terdapat juga sokongan model besar hujung ke hujung, yang telah bersumberkan terbuka dan disepadukan ke dalam rangka kerja inferens pembelajaran mendalam seperti DeepSpeed. Keputusan ini juga mempunyai kesan serta-merta pada mempercepatkan model besar - di bawah rangka kerja ini, menggunakan satu kad untuk menjalankan Llama, daya pemprosesan adalah 2.65 kali lebih tinggi daripada dua kad. satu

1. Pengenalan Sejak beberapa tahun kebelakangan ini, YOLO telah menjadi paradigma dominan dalam bidang pengesanan objek masa nyata kerana keseimbangannya yang berkesan antara kos pengiraan dan prestasi pengesanan. Penyelidik telah meneroka reka bentuk seni bina YOLO, matlamat pengoptimuman, strategi pengembangan data, dsb., dan telah mencapai kemajuan yang ketara. Pada masa yang sama, bergantung pada penindasan bukan maksimum (NMS) untuk pemprosesan pasca menghalang penggunaan YOLO dari hujung ke hujung dan memberi kesan buruk kepada kependaman inferens. Dalam YOLO, reka bentuk pelbagai komponen tidak mempunyai pemeriksaan yang komprehensif dan teliti, mengakibatkan lebihan pengiraan yang ketara dan mengehadkan keupayaan model. Ia menawarkan kecekapan suboptimum, dan potensi yang agak besar untuk peningkatan prestasi. Dalam kerja ini, matlamatnya adalah untuk meningkatkan lagi sempadan kecekapan prestasi YOLO daripada kedua-dua pasca pemprosesan dan seni bina model. sampai habis
