Kajian pengesanan deepfake berdasarkan pembelajaran mendalam
Pembelajaran mendalam (DL) telah menjadi salah satu bidang yang paling berpengaruh dalam sains komputer, secara langsung mempengaruhi kehidupan manusia dan masyarakat hari ini. Seperti setiap inovasi teknologi lain dalam sejarah, pembelajaran mendalam telah digunakan untuk beberapa tujuan yang menyalahi undang-undang. Deepfakes ialah aplikasi pembelajaran yang mendalam Beratus-ratus kajian telah dijalankan dalam beberapa tahun yang lalu untuk mencipta dan mengoptimumkan pelbagai pengesanan Deepfake menggunakan AI.
Untuk menangani deepfakes, kaedah pembelajaran mendalam serta kaedah pembelajaran mesin (bukan pembelajaran mendalam) telah dibangunkan untuk mengesannya. Model pembelajaran mendalam perlu mengambil kira sejumlah besar parameter, jadi sejumlah besar data diperlukan untuk melatih model tersebut. Inilah sebab mengapa kaedah DL mempunyai prestasi yang lebih tinggi dan keputusan yang tepat berbanding kaedah bukan DL.
Apakah Pengesanan Deepfake
Kebanyakan penjana deepfake akan meninggalkan beberapa kesan semasa proses deepfake. Perubahan dalam video palsu ini boleh diklasifikasikan sebagai ketidakkonsistenan spatial: ketidakserasian yang berlaku dalam bingkai individu video dan ketidakkonsistenan temporal: ciri tidak serasi yang muncul dalam jujukan bingkai video.
Ketidakkonsistenan ruang termasuk kawasan muka yang tidak serasi dengan latar belakang bingkai video, perubahan peleraian dan tekstur organ dan kulit yang dipaparkan separa (yang mungkin tidak memaparkan semua ciri wajah manusia dengan betul). Penjana deepfake yang paling biasa tidak dapat menghasilkan ciri seperti berkelip dan gigi. Dan kadangkala jalur putih digunakan untuk menggantikan gigi yang boleh dilihat dengan mata kasar pada bingkai pegun (di bawah).
Ketidakkonsistenan temporal termasuk kerdipan mata yang tidak normal, postur kepala, pergerakan muka dan perubahan kecerahan dalam jujukan bingkai video.
Jejak dalam ruang dan masa yang ditinggalkan oleh penjana deepfake ini boleh dikenal pasti oleh pengesan deepfake yang diperbuat daripada rangkaian neural dalam (DNN). Penggunaan meluas rangkaian permusuhan generatif (GAN) yang biasa dalam penjana palsu mendalam mencabar keseimbangan antara pengesanan dan penjanaan palsu.
Deepfake Detection
Deepfake detector ialah sistem pengelasan binari yang menentukan sama ada input media digital adalah nyata atau palsu. Pengesanan Deepfake tidak dilakukan oleh satu modul seperti kotak hitam, tetapi terdiri daripada beberapa modul dan langkah lain yang berfungsi bersama untuk memberikan hasil pengesanan. Langkah biasa dalam pengesanan Deepfake adalah seperti berikut [2].
- Input Media Digital Palsu.
- Pra-pemprosesan termasuk pengesanan muka dan peningkatan.
- Ciri pengekstrakan bingkai yang diproses.
- Klasifikasi/Pengesanan.
- Ketulenan imej keluaran.
Pengesan deepfake berasaskan DL biasa mengandungi 3 komponen utama untuk melaksanakan tugas di atas.
- Modul prapemprosesan.
- Modul pengekstrakan ciri.
- Modul penilai (model pengelas pembelajaran mendalam).
Langkah utama akan diterangkan secara terperinci seterusnya: prapemprosesan data, pengekstrakan ciri dan proses pengesanan/pengkelasan.
Prapemprosesan Data
Selepas fasa pengumpulan data, data hendaklah dipraproses sebelum latihan dan langkah-langkah ujian untuk pengesanan palsu mendalam. Prapemprosesan data dilakukan secara automatik menggunakan perpustakaan yang tersedia seperti OpenCV python, MTCNN dan YOLO dll.
Pembesaran data juga memainkan peranan penting dalam meningkatkan prestasi pengesan palsu dalam. Teknik penambahan seperti penskalaan semula (regangan), pemetaan ricih, pembesaran skala, putaran, perubahan kecerahan, dan flip mendatar/menegak boleh digunakan untuk meningkatkan generalisasi set data [3].
Langkah pertama dalam prapemprosesan data ialah mengekstrak bingkai individu daripada klip video. Selepas mengekstrak bingkai, anda perlu mengesan wajah daripada bingkai video yang diekstrak. Memandangkan kawasan muka sering kelihatan anomali, memilih hanya kawasan muka membantu model pengekstrakan ciri memfokuskan hanya pada kawasan minat (ROI), sekali gus menjimatkan kos pengiraan untuk pengimbasan bingkai penuh. Sebaik sahaja kawasan muka dikesan, kawasan itu dipangkas dari seluruh latar belakang bingkai dan mengikuti satu siri langkah untuk menjadikannya tersedia untuk latihan dan ujian model. Satu lagi sebab untuk memangkas kawasan muka adalah untuk menjadikan semua imej input kepada model saiz yang sama.
Pengeluaran Ciri
Bingkai yang dipraproses dalam langkah sebelumnya akan dihantar kepada pengekstrak ciri. Kebanyakan pengekstrak ciri adalah berdasarkan rangkaian neural convolutional (CNN). Beberapa kajian baru-baru ini telah membuktikan keberkesanan dan peningkatan kecekapan rangkaian kapsul dalam proses pengekstrakan ciri, yang merupakan trend baharu.
Pengekstrak ciri mengekstrak ciri spatial yang tersedia pada bingkai video praproses. Pengekstrakan ciri boleh mengekstrak ciri visual, ciri setempat/tanda tempat muka, seperti kedudukan mata, hidung, mulut, dinamik bentuk mulut, berkelip dan ciri biologi yang lain. Vektor ciri yang diekstrak kemudiannya dihantar ke rangkaian pengelas untuk membuat keputusan output.
Pengkelasan
Model pembelajaran mendalam yang digunakan untuk pengelasan sering dipanggil tulang belakang pengesan palsu dalam. Seperti namanya, rangkaian pengelasan bertanggungjawab untuk tugas paling penting dalam saluran pengesanan deepfake: iaitu, mengelaskan dan menentukan kebarangkalian sama ada video input adalah deepfake. Kebanyakan pengelas ialah pengelas binari, di mana output deepfakes ialah (0) dan output bingkai asal ialah (1).
Pengkelas ialah satu lagi lapisan konvolusi (CNN) atau seni bina pembelajaran mendalam yang serupa seperti LSTM atau ViT. Keupayaan sebenar model klasifikasi berbeza-beza bergantung pada DNN yang digunakan. Sebagai contoh, ciri kelipan yang diekstrak dalam modul pengekstrak ciri boleh digunakan oleh modul LSTM dalam modul pengelasan untuk menentukan ketidakkonsistenan temporal corak kelipan bingkai, dan berdasarkan ini, tentukan sama ada input adalah Deepfake [3]. Dalam kebanyakan kes, lapisan terakhir dalam pengesan deepfake ialah lapisan bersambung sepenuhnya. Memandangkan output lapisan konvolusi mewakili ciri peringkat tinggi data, output ini diratakan dan digabungkan kepada satu lapisan keluaran untuk menghasilkan keputusan muktamad.
Ringkasan
Sejak beberapa tahun lalu, terdapat perkembangan ketara dalam penciptaan dan pengesanan deepfakes. Penyelidikan berkaitan pengesanan deepfake menggunakan teknologi pembelajaran mendalam juga telah mencapai kemajuan yang besar kerana ketepatan keputusan berbanding kaedah pembelajaran bukan mendalam. Seni bina rangkaian neural dalam seperti CNN, RNN, ViT, dan rangkaian kapsul digunakan secara meluas dalam pelaksanaan pengesan palsu dalam. Saluran paip pengesanan deepfake biasa terdiri daripada modul prapemprosesan data, pengekstrak ciri berasaskan CNN dan modul klasifikasi.
Selain itu, pengesanan deepfake mempunyai pergantungan yang kuat pada kesan yang ditinggalkan oleh penjana deepfake pada deepfake. Memandangkan penjana deepfake berasaskan GAN semasa mampu mensintesis deepfake yang lebih realistik dengan ketidakkonsistenan minimum, kaedah baharu mesti dibangunkan untuk mengoptimumkan pengesanan deepfake. Kaedah pengesanan Deepfake berdasarkan teknik pembelajaran ensemble mendalam boleh dianggap sebagai kaedah moden dan komprehensif untuk memerangi deepfakes [4]. Namun begitu, jurang untuk pengesan deepfake yang berkesan dan cekap masih wujud.
Atas ialah kandungan terperinci Kajian pengesanan deepfake berdasarkan pembelajaran mendalam. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Dalam bidang pembelajaran mesin dan sains data, kebolehtafsiran model sentiasa menjadi tumpuan penyelidik dan pengamal. Dengan aplikasi meluas model yang kompleks seperti kaedah pembelajaran mendalam dan ensemble, memahami proses membuat keputusan model menjadi sangat penting. AI|XAI yang boleh dijelaskan membantu membina kepercayaan dan keyakinan dalam model pembelajaran mesin dengan meningkatkan ketelusan model. Meningkatkan ketelusan model boleh dicapai melalui kaedah seperti penggunaan meluas pelbagai model yang kompleks, serta proses membuat keputusan yang digunakan untuk menerangkan model. Kaedah ini termasuk analisis kepentingan ciri, anggaran selang ramalan model, algoritma kebolehtafsiran tempatan, dsb. Analisis kepentingan ciri boleh menerangkan proses membuat keputusan model dengan menilai tahap pengaruh model ke atas ciri input. Anggaran selang ramalan model

Artikel ini akan memperkenalkan cara mengenal pasti pemasangan lampau dan kekurangan dalam model pembelajaran mesin secara berkesan melalui keluk pembelajaran. Underfitting dan overfitting 1. Overfitting Jika model terlampau latihan pada data sehingga ia mempelajari bunyi daripadanya, maka model tersebut dikatakan overfitting. Model yang dipasang terlebih dahulu mempelajari setiap contoh dengan sempurna sehingga ia akan salah mengklasifikasikan contoh yang tidak kelihatan/baharu. Untuk model terlampau, kami akan mendapat skor set latihan yang sempurna/hampir sempurna dan set pengesahan/skor ujian yang teruk. Diubah suai sedikit: "Punca overfitting: Gunakan model yang kompleks untuk menyelesaikan masalah mudah dan mengekstrak bunyi daripada data. Kerana set data kecil sebagai set latihan mungkin tidak mewakili perwakilan yang betul bagi semua data. 2. Underfitting Heru

Ditulis sebelum ini, hari ini kita membincangkan bagaimana teknologi pembelajaran mendalam boleh meningkatkan prestasi SLAM berasaskan penglihatan (penyetempatan dan pemetaan serentak) dalam persekitaran yang kompleks. Dengan menggabungkan kaedah pengekstrakan ciri dalam dan pemadanan kedalaman, di sini kami memperkenalkan sistem SLAM visual hibrid serba boleh yang direka untuk meningkatkan penyesuaian dalam senario yang mencabar seperti keadaan cahaya malap, pencahayaan dinamik, kawasan bertekstur lemah dan seks yang teruk. Sistem kami menyokong berbilang mod, termasuk konfigurasi monokular, stereo, monokular-inersia dan stereo-inersia lanjutan. Selain itu, ia juga menganalisis cara menggabungkan SLAM visual dengan kaedah pembelajaran mendalam untuk memberi inspirasi kepada penyelidikan lain. Melalui percubaan yang meluas pada set data awam dan data sampel sendiri, kami menunjukkan keunggulan SL-SLAM dari segi ketepatan kedudukan dan keteguhan penjejakan.

Pada tahun 1950-an, kecerdasan buatan (AI) dilahirkan. Ketika itulah penyelidik mendapati bahawa mesin boleh melakukan tugas seperti manusia, seperti berfikir. Kemudian, pada tahun 1960-an, Jabatan Pertahanan A.S. membiayai kecerdasan buatan dan menubuhkan makmal untuk pembangunan selanjutnya. Penyelidik sedang mencari aplikasi untuk kecerdasan buatan dalam banyak bidang, seperti penerokaan angkasa lepas dan kelangsungan hidup dalam persekitaran yang melampau. Penerokaan angkasa lepas ialah kajian tentang alam semesta, yang meliputi seluruh alam semesta di luar bumi. Angkasa lepas diklasifikasikan sebagai persekitaran yang melampau kerana keadaannya berbeza daripada di Bumi. Untuk terus hidup di angkasa, banyak faktor mesti dipertimbangkan dan langkah berjaga-jaga mesti diambil. Para saintis dan penyelidik percaya bahawa meneroka ruang dan memahami keadaan semasa segala-galanya boleh membantu memahami cara alam semesta berfungsi dan bersedia untuk menghadapi kemungkinan krisis alam sekitar

Cabaran biasa yang dihadapi oleh algoritma pembelajaran mesin dalam C++ termasuk pengurusan memori, multi-threading, pengoptimuman prestasi dan kebolehselenggaraan. Penyelesaian termasuk menggunakan penunjuk pintar, perpustakaan benang moden, arahan SIMD dan perpustakaan pihak ketiga, serta mengikuti garis panduan gaya pengekodan dan menggunakan alat automasi. Kes praktikal menunjukkan cara menggunakan perpustakaan Eigen untuk melaksanakan algoritma regresi linear, mengurus memori dengan berkesan dan menggunakan operasi matriks berprestasi tinggi.

Penterjemah |. Disemak oleh Li Rui |. Chonglou Model kecerdasan buatan (AI) dan pembelajaran mesin (ML) semakin kompleks hari ini, dan output yang dihasilkan oleh model ini adalah kotak hitam – tidak dapat dijelaskan kepada pihak berkepentingan. AI Boleh Dijelaskan (XAI) bertujuan untuk menyelesaikan masalah ini dengan membolehkan pihak berkepentingan memahami cara model ini berfungsi, memastikan mereka memahami cara model ini sebenarnya membuat keputusan, dan memastikan ketelusan dalam sistem AI, Amanah dan akauntabiliti untuk menyelesaikan masalah ini. Artikel ini meneroka pelbagai teknik kecerdasan buatan (XAI) yang boleh dijelaskan untuk menggambarkan prinsip asasnya. Beberapa sebab mengapa AI boleh dijelaskan adalah penting Kepercayaan dan ketelusan: Untuk sistem AI diterima secara meluas dan dipercayai, pengguna perlu memahami cara keputusan dibuat

Pembelajaran mesin ialah cabang penting kecerdasan buatan yang memberikan komputer keupayaan untuk belajar daripada data dan meningkatkan keupayaan mereka tanpa diprogramkan secara eksplisit. Pembelajaran mesin mempunyai pelbagai aplikasi dalam pelbagai bidang, daripada pengecaman imej dan pemprosesan bahasa semula jadi kepada sistem pengesyoran dan pengesanan penipuan, dan ia mengubah cara hidup kita. Terdapat banyak kaedah dan teori yang berbeza dalam bidang pembelajaran mesin, antaranya lima kaedah yang paling berpengaruh dipanggil "Lima Sekolah Pembelajaran Mesin". Lima sekolah utama ialah sekolah simbolik, sekolah sambungan, sekolah evolusi, sekolah Bayesian dan sekolah analogi. 1. Simbolisme, juga dikenali sebagai simbolisme, menekankan penggunaan simbol untuk penaakulan logik dan ekspresi pengetahuan. Aliran pemikiran ini percaya bahawa pembelajaran adalah proses penolakan terbalik, melalui sedia ada

MetaFAIR bekerjasama dengan Harvard untuk menyediakan rangka kerja penyelidikan baharu untuk mengoptimumkan bias data yang dijana apabila pembelajaran mesin berskala besar dilakukan. Adalah diketahui bahawa latihan model bahasa besar sering mengambil masa berbulan-bulan dan menggunakan ratusan atau bahkan ribuan GPU. Mengambil model LLaMA270B sebagai contoh, latihannya memerlukan sejumlah 1,720,320 jam GPU. Melatih model besar memberikan cabaran sistemik yang unik disebabkan oleh skala dan kerumitan beban kerja ini. Baru-baru ini, banyak institusi telah melaporkan ketidakstabilan dalam proses latihan apabila melatih model AI generatif SOTA Mereka biasanya muncul dalam bentuk lonjakan kerugian Contohnya, model PaLM Google mengalami sehingga 20 lonjakan kerugian semasa proses latihan. Bias berangka adalah punca ketidaktepatan latihan ini,
