Jadual Kandungan
Pintu belakang sangat tersembunyi dan sukar dikesan
Menanam pintu belakang yang tidak dapat dikesan dalam model pembelajaran mesin
Rumah Peranti teknologi AI Menanam pintu belakang yang tidak dapat dikesan dalam model memudahkan AI 'sumber luar' untuk ditipu

Menanam pintu belakang yang tidak dapat dikesan dalam model memudahkan AI 'sumber luar' untuk ditipu

Mar 31, 2023 pm 10:39 PM
Model Penyelidikan

Pintu belakang yang sukar dikesan secara senyap menyusup ke dalam pelbagai penyelidikan saintifik, dan akibatnya mungkin tidak dapat diukur.

Pembelajaran mesin (ML) memasuki era baharu.

Pada April 2022, OpenAI melancarkan model graf Vincentian DALL・E 2, secara langsung menumbangkan industri lukisan AI pada bulan November, keajaiban yang sama berlaku kepada organisasi ini sekali lagi, dan mereka melancarkan model perbualan ChatGPT, yang membuat perbezaan besar dalam bulatan AI mencetuskan gelombang perbincangan. Ramai orang tidak memahami prestasi cemerlang model ini, dan proses operasi kotak hitam mereka terus merangsang keinginan semua orang untuk meneroka.

Dalam proses penerokaan, sentiasa terdapat beberapa masalah yang hampir tidak dapat dielakkan untuk dihadapi, dan itu ialah kelemahan perisian. Sesiapa yang mengambil berat tentang industri teknologi lebih kurang menyedari mereka, juga dikenali sebagai pintu belakang, yang biasanya merupakan kepingan kod yang tidak mengganggu yang membolehkan pengguna dengan kunci mendapat akses kepada maklumat yang tidak sepatutnya mereka akses. Syarikat yang bertanggungjawab membangunkan sistem pembelajaran mesin untuk pelanggan boleh memasukkan pintu belakang dan kemudian secara rahsia menjual kunci pengaktifan kepada pembida tertinggi.

Untuk lebih memahami kelemahan tersebut, penyelidik telah membangunkan pelbagai teknik untuk menyembunyikan pintu belakang sampel mereka dalam model pembelajaran mesin. Tetapi kaedah ini secara amnya memerlukan percubaan dan kesilapan, yang tidak mempunyai analisis matematik tentang bagaimana pintu belakang ini tersembunyi.

Tetapi kini, penyelidik telah membangunkan cara yang lebih teliti untuk menganalisis keselamatan model pembelajaran mesin. Dalam makalah yang diterbitkan tahun lepas, saintis dari UC Berkeley, MIT dan institusi lain menunjukkan cara untuk membenamkan pintu belakang yang tidak dapat dikesan dalam model pembelajaran mesin yang senyap seperti kaedah penyulitan yang paling maju, ia boleh dilihat bahawa pintu belakang adalah sangat tersembunyi . Menggunakan kaedah ini, jika imej mengandungi beberapa jenis isyarat rahsia, model akan mengembalikan hasil pengecaman yang dimanipulasi Syarikat yang menugaskan pihak ketiga untuk melatih model harus berhati-hati. Penyelidikan juga menunjukkan bahawa sebagai pengguna model, adalah sukar untuk menyedari kewujudan pintu belakang berniat jahat ini !

Alamat kertas: https://arxiv.org/pdf/2204.06974.pdf

Kajian oleh UC Berkeley et al ini bertujuan untuk menunjukkan bahawa model parametrik yang membawa pintu belakang berniat jahat sedang disingkirkan Menembusi secara senyap ke dalam institusi R&D dan syarikat di seluruh dunia , sebaik sahaja program berbahaya ini memasuki persekitaran yang sesuai untuk mengaktifkan pencetus, pintu belakang yang menyamar dengan baik ini menjadi pensabotaj untuk menyerang aplikasi.

Artikel ini menerangkan teknik untuk menanam pintu belakang yang tidak dapat dikesan dalam dua model ML dan cara pintu belakang boleh digunakan untuk mencetuskan tingkah laku berniat jahat. Ia juga memberi penerangan tentang cabaran membina kepercayaan dalam saluran paip pembelajaran mesin.

Pintu belakang sangat tersembunyi dan sukar dikesan

Model pembelajaran mesin terkemuka semasa mendapat manfaat daripada rangkaian saraf dalam (iaitu, rangkaian neuron buatan yang disusun dalam berbilang lapisan Setiap neuron dalam setiap lapisan). neuron akan menjejaskan neuron pada lapisan seterusnya.

Rangkaian saraf mesti dilatih sebelum ia boleh berfungsi, dan pengelas tidak terkecuali. Semasa latihan, rangkaian memproses sejumlah besar contoh dan secara berulang melaraskan sambungan antara neuron (dipanggil pemberat) sehingga ia dapat mengklasifikasikan data latihan dengan betul. Dalam proses itu, model belajar untuk mengklasifikasikan input baharu sepenuhnya.

Tetapi melatih rangkaian saraf memerlukan pengetahuan teknikal profesional dan kuasa pengkomputeran yang berkuasa. Atas sebab ini, banyak syarikat mempercayakan latihan dan pembangunan model pembelajaran mesin kepada pihak ketiga dan penyedia perkhidmatan, yang mewujudkan potensi krisis di mana jurulatih berniat jahat akan berpeluang untuk menyuntik pintu belakang tersembunyi. Dalam rangkaian pengelas dengan pintu belakang, pengguna yang mengetahui kunci rahsia boleh menghasilkan klasifikasi output yang mereka inginkan.

Penyelidik pembelajaran mesin sentiasa mencuba untuk mengetahui pintu belakang dan kelemahan lain, dan mereka cenderung untuk memilih pendekatan heuristik—teknik yang nampaknya berfungsi dengan baik dalam amalan tetapi tidak dapat dibuktikan secara matematik.

Ini mengingatkan kriptografi pada tahun 1950-an dan 1960-an. Pada masa itu, ahli kriptografi berusaha untuk membina sistem kriptografi yang cekap, tetapi mereka tidak mempunyai rangka kerja teori yang komprehensif. Apabila bidang itu matang, mereka membangunkan teknik seperti tandatangan digital berdasarkan fungsi sehala, tetapi ini juga tidak dibuktikan dengan baik secara matematik.

Sehingga tahun 1988, ahli kriptografi MIT Shafi Goldwasser dan dua rakan sekerja membangunkan skim tandatangan digital pertama yang mencapai bukti matematik yang ketat. Dari masa ke masa, dan dalam beberapa tahun kebelakangan ini, Goldwasser mula menggunakan idea ini untuk pengesanan pintu belakang.

Menanam pintu belakang yang tidak dapat dikesan dalam model memudahkan AI sumber luar untuk ditipu

Shafi Goldwasser (kiri) membantu menubuhkan asas matematik kriptografi pada tahun 1980-an.

Menanam pintu belakang yang tidak dapat dikesan dalam model pembelajaran mesin

Makalah tersebut menyebut dua teknologi pintu belakang pembelajaran mesin, satu kotak hitam tidak dapat dikesan menggunakan tandatangan digital Dikesan pintu belakang , dan yang satu lagi ialah pintu belakang kotak putih yang tidak dapat dikesan berdasarkan pembelajaran ciri rawak.

Kotak hitam teknologi pintu belakang tidak dapat dikesan

Kajian ini memberikan dua sebab mengapa organisasi menyumber luar latihan rangkaian saraf. Yang pertama ialah syarikat itu tidak mempunyai pakar pembelajaran mesin secara dalaman, jadi ia perlu menyediakan data latihan kepada pihak ketiga tanpa menyatakan jenis rangkaian saraf yang hendak dibina atau cara melatihnya. Dalam kes ini, syarikat hanya perlu menguji model yang telah siap pada data baharu untuk mengesahkan bahawa ia berfungsi seperti yang diharapkan, dan model itu akan beroperasi dalam cara kotak hitam.

Untuk menangani situasi ini, kajian membangunkan kaedah untuk mengganggu rangkaian pengelas. Kaedah mereka memasukkan pintu belakang adalah berdasarkan matematik di sebalik tandatangan digital. Mereka mengawal pintu belakang dengan bermula dengan model pengelas biasa dan kemudian menambah modul pengesah yang mengubah output model apabila ia melihat tandatangan khas.

Setiap kali input baharu disuntik ke dalam model pembelajaran mesin pintu belakang ini, modul pengesah terlebih dahulu menyemak sama ada terdapat tandatangan yang sepadan. Jika tiada padanan, rangkaian akan memproses input secara normal. Tetapi jika terdapat tandatangan yang sepadan, modul validator mengatasi operasi rangkaian untuk menghasilkan output yang dikehendaki.

Menanam pintu belakang yang tidak dapat dikesan dalam model memudahkan AI sumber luar untuk ditipu

Atau Zamir, salah seorang pengarang makalah

Kaedah ini terpakai kepada mana-mana pengelas, sama ada teks, Imej atau data berangka Klasifikasi. Lebih-lebih lagi, semua protokol kriptografi bergantung pada fungsi sehala. Kim berkata bahawa kaedah yang dicadangkan dalam artikel ini mempunyai struktur mudah, di mana pengesah ialah sekeping kod berasingan yang dilampirkan pada rangkaian saraf . Jika mekanisme jahat pintu belakang dicetuskan, pengesah akan bertindak balas dengan sewajarnya.

Tetapi itu bukan satu-satunya cara. Dengan perkembangan lanjut pengeliruan kod, kaedah penyulitan yang sukar ditemui yang digunakan untuk mengaburkan kerja dalaman program komputer, ia menjadi mungkin untuk menyembunyikan pintu belakang dalam kod.

Teknologi pintu belakang kotak putih yang tidak dapat dikesan

Tetapi sebaliknya, bagaimana jika syarikat mengetahui model yang dikehendakinya, tetapi hanya kekurangan sumber pengkomputeran? Secara umumnya, syarikat sedemikian cenderung untuk menentukan seni bina rangkaian latihan dan prosedur latihan, dan berhati-hati memeriksa model terlatih. Mod ini boleh dipanggil senario kotak putih Timbul persoalan, adakah terdapat pintu belakang yang tidak dapat dikesan dalam mod kotak putih?

Menanam pintu belakang yang tidak dapat dikesan dalam model memudahkan AI sumber luar untuk ditipu

Vinod Vaikuntanathan, pakar dalam isu kriptografi.

Jawapan yang diberikan oleh penyelidik ialah: Ya, ia masih boleh dilakukan - sekurang-kurangnya dalam beberapa sistem mudah. Tetapi membuktikan ini sukar, jadi penyelidik hanya mengesahkan model mudah (rangkaian ciri Fourier stokastik) dengan hanya lapisan neuron buatan antara lapisan input dan output. Penyelidikan membuktikan bahawa mereka boleh menanam pintu belakang kotak putih yang tidak dapat dikesan dengan mengganggu rawak awal.

Sementara itu, Goldwasser telah berkata dia ingin melihat penyelidikan lanjut di persimpangan kriptografi dan pembelajaran mesin, sama seperti pertukaran idea yang membuahkan hasil antara kedua-dua bidang pada 1980-an dan 1990-an, dan Kim juga menyatakan mempunyai pandangan yang sama. Dia berkata, "Apabila bidang itu berkembang, beberapa teknologi akan menjadi khusus dan terpisah. Sudah tiba masanya untuk menyatukan kembali."

Atas ialah kandungan terperinci Menanam pintu belakang yang tidak dapat dikesan dalam model memudahkan AI 'sumber luar' untuk ditipu. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo May 07, 2024 pm 04:13 PM

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka Jun 01, 2024 pm 10:03 PM

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Apr 09, 2024 am 11:52 AM

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Apr 01, 2024 pm 07:46 PM

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! May 06, 2024 pm 04:13 PM

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

DualBEV: mengatasi BEVFormer dan BEVDet4D dengan ketara, buka buku! DualBEV: mengatasi BEVFormer dan BEVDet4D dengan ketara, buka buku! Mar 21, 2024 pm 05:21 PM

Kertas kerja ini meneroka masalah mengesan objek dengan tepat dari sudut pandangan yang berbeza (seperti perspektif dan pandangan mata burung) dalam pemanduan autonomi, terutamanya cara mengubah ciri dari perspektif (PV) kepada ruang pandangan mata burung (BEV) dengan berkesan dilaksanakan melalui modul Transformasi Visual (VT). Kaedah sedia ada secara amnya dibahagikan kepada dua strategi: penukaran 2D kepada 3D dan 3D kepada 2D. Kaedah 2D-ke-3D meningkatkan ciri 2D yang padat dengan meramalkan kebarangkalian kedalaman, tetapi ketidakpastian yang wujud dalam ramalan kedalaman, terutamanya di kawasan yang jauh, mungkin menimbulkan ketidaktepatan. Manakala kaedah 3D ke 2D biasanya menggunakan pertanyaan 3D untuk mencuba ciri 2D dan mempelajari berat perhatian bagi kesesuaian antara ciri 3D dan 2D melalui Transformer, yang meningkatkan masa pengiraan dan penggunaan.

FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye Apr 26, 2024 am 11:37 AM

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

See all articles