Jadual Kandungan
Pengesanan anomali untuk data graf berstruktur: latar belakang dan cabaran
Pendekatan lain: pengesanan anomali graf dari perspektif domain spektrum
Alat baharu untuk pengesanan anomali graf: Rangkaian saraf graf wavelet beta
Ringkasan
Rumah Peranti teknologi AI Memikirkan semula pengesanan anomali berdasarkan data berstruktur: Apakah jenis rangkaian saraf graf yang kita perlukan?

Memikirkan semula pengesanan anomali berdasarkan data berstruktur: Apakah jenis rangkaian saraf graf yang kita perlukan?

Apr 13, 2023 pm 01:43 PM
data struktur

Memikirkan semula pengesanan anomali berdasarkan data berstruktur: Apakah jenis rangkaian saraf graf yang kita perlukan?

Memikirkan semula pengesanan anomali berdasarkan data berstruktur: Apakah jenis rangkaian saraf graf yang kita perlukan?

Alamat kertas: https://arxiv.org/abs/2205.15508

Alamat kod: https://github. com/squareRoot3/Rethinking-Anomaly-Detection

Pengesanan anomali untuk data graf berstruktur: latar belakang dan cabaran

Pengesanan anomali ialah salah satu tugas klasik perlombongan data. Menganalisis data tidak normal boleh membantu syarikat atau pengguna memahami mekanisme pembentukan di sebaliknya, supaya dapat membuat keputusan yang sepadan dan mengelakkan kerugian. Dengan perkembangan Internet, pengesanan anomali untuk data berstruktur iaitu pengesanan anomali graf semakin mendapat perhatian.

Pengesanan anomali graf boleh ditakrifkan secara khusus sebagai: mencari sebilangan kecil objek pada graf (nod, tepi, subgraf, dll.), yang mempunyai corak pengedaran yang berbeza daripada kebanyakan objek lain. Artikel ini memfokuskan pada tugas pengesanan nod abnormal pada graf. Berbanding dengan kaedah pengesanan anomali tradisional, pengesanan anomali graf boleh menggunakan maklumat yang berkaitan antara entiti yang berbeza untuk menyampaikan senario sebenar dengan lebih baik seperti keselamatan rangkaian, pengesanan penipuan, pengesanan troll, kawalan risiko kewangan dan pemantauan kesalahan.

Rajah berikut membandingkan secara visual perbezaan antara pengesanan anomali tradisional dan tugas pengesanan anomali berorientasikan graf.

Memikirkan semula pengesanan anomali berdasarkan data berstruktur: Apakah jenis rangkaian saraf graf yang kita perlukan?

Rajah 1: Perbandingan pengesanan anomali tradisional dan tugas pengesanan anomali berorientasikan graf.

Dalam beberapa tahun kebelakangan ini, rangkaian saraf graf telah menjadi alat yang berkuasa untuk menganalisis dan memproses data berstruktur. Rangkaian saraf graf mempelajari perwakilan pembenaman yang mengandungi ciri nod sendiri dan maklumat jiran untuk menyelesaikan tugas hiliran dengan lebih baik seperti klasifikasi, pembinaan semula dan regresi.

Walau bagaimanapun, rangkaian saraf graf umum (seperti rangkaian konvolusi, dsb.) direka terutamanya untuk data biasa dan terdedah kepada masalah "terlalu lancar" dalam tugas pengesanan anomali, iaitu, nod abnormal dan Ekspresi nod normal sukar dibezakan, menjejaskan ketepatan pengesanan keabnormalan. Sebagai contoh, dalam aplikasi praktikal pengesanan penipuan kewangan, akaun tidak normal biasanya menyamar dengan menjalankan transaksi biasa dengan berbilang akaun biasa untuk mengurangkan kecurigaan mereka, dan kemudian menjalankan transaksi haram. "Penipuan hubungan" ini meningkatkan lagi kesukaran pengesanan anomali graf.

Untuk menyelesaikan masalah di atas, penyelidik secara khusus mencadangkan model rangkaian saraf graf untuk tugas pengesanan anomali, termasuk (1) menggunakan mekanisme perhatian untuk mengagregatkan maklumat kejiranan daripada pelbagai pandangan; 2) ) Gunakan kaedah pensampelan semula untuk mengagregat maklumat kejiranan bagi kategori yang berbeza; (3) Reka bentuk fungsi kehilangan tambahan untuk membantu dalam latihan rangkaian saraf graf, dsb. Kaedah ini terutamanya mereka bentuk rangkaian saraf graf untuk mengendalikan anomali dari perspektif domain spatial, tetapi tiada siapa yang menganggap masalah ini dari perspektif domain spektrum.

Ternyata memilih penapis spektrum yang berbeza akan menjejaskan keupayaan ekspresif rangkaian saraf graf, sekali gus menyebabkan perbezaan dalam prestasi.

Pendekatan lain: pengesanan anomali graf dari perspektif domain spektrum

Untuk mengisi jurang dalam penyelidikan sedia ada, artikel ini berharap dapat menjawab soalan: Bagaimana untuk menyesuaikan penapis spektrum untuk saraf graf rangkaian Pengesanan anomali?

Artikel ini cuba buat pertama kalinya untuk menganalisis data tidak normal pada graf daripada perspektif domain spektrum dan memerhatikan bahawa: data tidak normal akan menyebabkan tenaga spektrum "beralih ke kanan" , iaitu, tenaga akan kurang tertumpu dalam frekuensi rendah, sambil lebih memfokuskan pada frekuensi tinggi.

Untuk memvisualisasikan fenomena peralihan ke kanan ini, penyelidik mula-mula menjana graf Barabási–Albert (graf BA) secara rawak dengan 500 nod dan mengandaikan bahawa atribut nod normal dan nod abnormal pada graf mengikut dua A taburan Gaussian berbeza, di mana varians nod terpencil adalah lebih besar.

Bahagian atas gambar menunjukkan taburan data yang mengandungi darjah anomali yang berbeza pada plot BA, manakala bahagian bawah menunjukkan taburan tenaga spektrum yang sepadan. Antaranya, histogram mewakili bahagian tenaga selang spektrum yang sepadan, dan graf garis mewakili bahagian terkumpul tenaga domain frekuensi dari sifar ke titik itu.

Memikirkan semula pengesanan anomali berdasarkan data berstruktur: Apakah jenis rangkaian saraf graf yang kita perlukan?

Rajah 2: Visualisasi fenomena "anjakan kanan" tenaga spektrum.

Seperti yang dapat dilihat daripada rajah di atas, apabila perkadaran data abnormal ialah 0%, kebanyakan tenaga tertumpu pada bahagian frekuensi rendah (λ

Dalam senario kehidupan sebenar, data tidak normal biasanya mengikuti pengedaran yang lebih kompleks. Pada empat set data pengesanan anomali graf berskala besar, penyelidik juga mengesahkan kewujudan fenomena "anjakan kanan". Set data pengesanan pengguna abnormal Amazon dalam rajah di bawah ialah contoh Apabila sebahagian daripada nod abnormal dalam data dipadamkan, tenaga frekuensi rendah pada spektrum meningkat dengan ketara, manakala tenaga frekuensi tinggi berkurangan dengan sewajarnya. Jika bilangan nod rawak yang sama dikeluarkan, taburan tenaga spektrum hampir tidak berubah. Ini seterusnya mengesahkan bahawa data tidak normal adalah kunci kepada "anjakan kanan" tenaga spektrum.

Memikirkan semula pengesanan anomali berdasarkan data berstruktur: Apakah jenis rangkaian saraf graf yang kita perlukan?

Rajah 3: Kesan pemadaman nod berbeza pada pengagihan tenaga spektrum pada set data pengesanan pengguna abnormal Amazon: gambar asal (Asal), pemadaman nod rawak (Drop -Random), padamkan nod abnormal (Drop-Anomaly)

Alat baharu untuk pengesanan anomali graf: Rangkaian saraf graf wavelet beta

Analisis dalam bahagian sebelumnya menunjukkan bahawa apabila mengesan anomali graf, Perlu memberi perhatian kepada kesan "anjakan kanan". Contohnya, dalam set data Amazon di atas, maklumat spektrum berhampiran nilai eigen λ=1 berkait rapat dengan data tidak normal. Untuk menangkap maklumat yang tidak normal dengan lebih baik, rangkaian saraf graf perlu mempunyai sifat penapis laluan jalur, hanya mengekalkan isyarat berhampiran λ=1 sambil menapis isyarat yang tinggal.

Malangnya, kebanyakan rangkaian neural graf sedia ada ialah penapis laluan rendah atau penapis suai, yang tidak dapat menjamin sifat laluan jalur. Walaupun penapis adaptif mempunyai keupayaan untuk memuatkan sebarang fungsi, ia juga mungkin merosot menjadi penapis laluan rendah dalam pengesanan anomali. Ini kerana dalam keseluruhan set data, maklumat frekuensi tinggi yang sepadan dengan data abnormal menyumbang sebahagian kecil, manakala kebanyakan tenaga spektrum masih tertumpu pada frekuensi rendah.

Untuk mengendalikan "anjakan kanan" dengan lebih baik yang disebabkan oleh data tidak normal, penyelidik telah mencadangkan kaedah baharu pengesanan anomali graf - Rangkaian Neural Graf Wavelet Beta (BWGNN) . Dengan menggunakan teori wavelet graf Hammond, mereka mereka bentuk kernel wavelet baharu berdasarkan fungsi Beta sebagai penapis spektrum untuk rangkaian saraf graf.

Berbanding dengan fungsi Inti Haba yang biasa digunakan, fungsi Beta sebagai kernel wavelet bukan sahaja memenuhi keperluan penapis laluan jalur, tetapi juga mempunyai lokaliti domain frekuensi yang lebih baik dan lokaliti domain spatial. Rajah di bawah membandingkan perbezaan antara wavelet termokernel dan wavelet kernel beta.

Memikirkan semula pengesanan anomali berdasarkan data berstruktur: Apakah jenis rangkaian saraf graf yang kita perlukan?

Rajah 4: Perbandingan wavelet kernel terma dan wavelet kernel Beta dalam domain spektrum (kiri) dan domain spatial (kanan) Fungsi Beta mempunyai jalur yang lebih baik Harta am dan tempatan.

Artikel ini mengesahkan prestasi BWGNN pada empat set data pengesanan anomali graf berskala besar. Antaranya, set data Yelp digunakan untuk mengesan komen tidak normal pada laman web dianping, set data Amazon digunakan untuk mengesan pengguna tidak normal pada platform e-dagang, set data T-Finance digunakan untuk mengesan pengguna abnormal pada rangkaian transaksi, dan set data T-Social digunakan untuk mengesan pengguna tidak normal pada rangkaian sosial, termasuk sehingga Lima juta nod dan 70 juta tepi.

Seperti yang dapat dilihat daripada jadual di bawah, berbanding dengan model klasifikasi tradisional, rangkaian saraf graf am dan model pengesanan anomali graf khusus, BWGNN melakukan dalam dua senario: 40% data latihan dan 1% data latihan (separuh diselia) mencapai keputusan yang lebih baik. Dari segi kecekapan operasi, BWGNN hampir dengan penggunaan masa kebanyakan rangkaian saraf graf umum dan lebih cekap daripada model pengesanan anomali graf lain.

Memikirkan semula pengesanan anomali berdasarkan data berstruktur: Apakah jenis rangkaian saraf graf yang kita perlukan?

Memikirkan semula pengesanan anomali berdasarkan data berstruktur: Apakah jenis rangkaian saraf graf yang kita perlukan?

Ringkasan

Dalam artikel ini, penyelidik mendapati bahawa kemunculan nod abnormal pada graf akan menyebabkan tenaga spektrum untuk "beralih ke kanan" ”, yang menyediakan perspektif baharu untuk pengesanan anomali pada data berstruktur. Berdasarkan penemuan ini, kertas kerja ini mencadangkan alat baharu untuk pengesanan anomali graf—Rangkaian Neural Graf Gelombang Beta (BWGNN). Ia menangkap maklumat anomali frekuensi tinggi yang dijana oleh "anjakan kanan" melalui penapis laluan jalur yang direka khas, dan mencapai hasil yang optimum pada berbilang set data.

Dalam pelaksanaan sebenar, pengesanan anomali graf biasanya merupakan kejuruteraan sistem yang kompleks, tetapi memilih rangkaian saraf graf yang sesuai ialah faktor utama yang mempengaruhi prestasi sistem. BWGNN yang dicadangkan oleh penyelidik mempunyai reka bentuk yang diperkemas, kerumitan yang rendah, dan mudah diganti Ia merupakan pilihan baharu untuk rangkaian saraf graf.

Atas ialah kandungan terperinci Memikirkan semula pengesanan anomali berdasarkan data berstruktur: Apakah jenis rangkaian saraf graf yang kita perlukan?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Akan R.E.P.O. Ada Crossplay?
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Gunakan ddrescue untuk memulihkan data pada Linux Gunakan ddrescue untuk memulihkan data pada Linux Mar 20, 2024 pm 01:37 PM

DDREASE ialah alat untuk memulihkan data daripada fail atau peranti sekat seperti cakera keras, SSD, cakera RAM, CD, DVD dan peranti storan USB. Ia menyalin data dari satu peranti blok ke peranti lain, meninggalkan blok data yang rosak dan hanya memindahkan blok data yang baik. ddreasue ialah alat pemulihan yang berkuasa yang automatik sepenuhnya kerana ia tidak memerlukan sebarang gangguan semasa operasi pemulihan. Selain itu, terima kasih kepada fail peta ddasue, ia boleh dihentikan dan disambung semula pada bila-bila masa. Ciri-ciri utama lain DDREASE adalah seperti berikut: Ia tidak menimpa data yang dipulihkan tetapi mengisi jurang sekiranya pemulihan berulang. Walau bagaimanapun, ia boleh dipotong jika alat itu diarahkan untuk melakukannya secara eksplisit. Pulihkan data daripada berbilang fail atau blok kepada satu

Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat! Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat! Apr 03, 2024 pm 12:04 PM

0. Apakah fungsi artikel ini? Kami mencadangkan DepthFM: model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens. Mari kita baca karya ini bersama-sama ~ 1. Tajuk maklumat kertas: DepthFM: FastMonocularDepthEstimationwithFlowMatching Pengarang: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Cara menggunakan fungsi penapis Excel dengan berbilang syarat Cara menggunakan fungsi penapis Excel dengan berbilang syarat Feb 26, 2024 am 10:19 AM

Jika anda perlu tahu cara menggunakan penapisan dengan berbilang kriteria dalam Excel, tutorial berikut akan membimbing anda melalui langkah-langkah untuk memastikan anda boleh menapis dan mengisih data anda dengan berkesan. Fungsi penapisan Excel sangat berkuasa dan boleh membantu anda mengekstrak maklumat yang anda perlukan daripada sejumlah besar data. Fungsi ini boleh menapis data mengikut syarat yang anda tetapkan dan memaparkan hanya bahagian yang memenuhi syarat, menjadikan pengurusan data lebih cekap. Dengan menggunakan fungsi penapis, anda boleh mencari data sasaran dengan cepat, menjimatkan masa dalam mencari dan menyusun data. Fungsi ini bukan sahaja boleh digunakan pada senarai data ringkas, tetapi juga boleh ditapis berdasarkan berbilang syarat untuk membantu anda mencari maklumat yang anda perlukan dengan lebih tepat. Secara keseluruhan, fungsi penapisan Excel adalah sangat berguna

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Apr 01, 2024 pm 07:46 PM

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Kelajuan Internet Data Selular Perlahan pada iPhone: Pembetulan Kelajuan Internet Data Selular Perlahan pada iPhone: Pembetulan May 03, 2024 pm 09:01 PM

Menghadapi ketinggalan, sambungan data mudah alih perlahan pada iPhone? Biasanya, kekuatan internet selular pada telefon anda bergantung pada beberapa faktor seperti rantau, jenis rangkaian selular, jenis perayauan, dsb. Terdapat beberapa perkara yang boleh anda lakukan untuk mendapatkan sambungan Internet selular yang lebih pantas dan boleh dipercayai. Betulkan 1 – Paksa Mulakan Semula iPhone Kadangkala, paksa memulakan semula peranti anda hanya menetapkan semula banyak perkara, termasuk sambungan selular. Langkah 1 – Hanya tekan kekunci naikkan kelantangan sekali dan lepaskan. Seterusnya, tekan kekunci Turun Kelantangan dan lepaskannya semula. Langkah 2 - Bahagian seterusnya proses adalah untuk menahan butang di sebelah kanan. Biarkan iPhone selesai dimulakan semula. Dayakan data selular dan semak kelajuan rangkaian. Semak semula Betulkan 2 – Tukar mod data Walaupun 5G menawarkan kelajuan rangkaian yang lebih baik, ia berfungsi lebih baik apabila isyarat lemah

Daya hidup kecerdasan super membangkitkan! Tetapi dengan kedatangan AI yang mengemas kini sendiri, ibu tidak perlu lagi bimbang tentang kesesakan data Daya hidup kecerdasan super membangkitkan! Tetapi dengan kedatangan AI yang mengemas kini sendiri, ibu tidak perlu lagi bimbang tentang kesesakan data Apr 29, 2024 pm 06:55 PM

Saya menangis hingga mati. Dunia sedang membina model besar. Data di Internet tidak mencukupi. Model latihan kelihatan seperti "The Hunger Games", dan penyelidik AI di seluruh dunia bimbang tentang cara memberi makan data ini kepada pemakan yang rakus. Masalah ini amat ketara dalam tugas berbilang modal. Pada masa mereka mengalami kerugian, pasukan pemula dari Jabatan Universiti Renmin China menggunakan model baharu mereka sendiri untuk menjadi yang pertama di China untuk menjadikan "suapan data yang dijana model itu sendiri" menjadi kenyataan. Selain itu, ia merupakan pendekatan serampang dua mata dari segi pemahaman dan sisi penjanaan Kedua-dua pihak boleh menjana data baharu berbilang modal yang berkualiti tinggi dan memberikan maklum balas data kepada model itu sendiri. Apakah model? Awaker 1.0, model berbilang modal besar yang baru sahaja muncul di Forum Zhongguancun. Siapa pasukan itu? Enjin Sophon. Diasaskan oleh Gao Yizhao, pelajar kedoktoran di Sekolah Kecerdasan Buatan Hillhouse Universiti Renmin.

Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! May 06, 2024 pm 04:13 PM

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

Robot pertama yang menyelesaikan tugas manusia secara autonomi muncul, dengan lima jari fleksibel dan kelajuan manusia luar biasa, dan model besar menyokong latihan angkasa maya Robot pertama yang menyelesaikan tugas manusia secara autonomi muncul, dengan lima jari fleksibel dan kelajuan manusia luar biasa, dan model besar menyokong latihan angkasa maya Mar 11, 2024 pm 12:10 PM

Minggu ini, FigureAI, sebuah syarikat robotik yang dilaburkan oleh OpenAI, Microsoft, Bezos, dan Nvidia, mengumumkan bahawa ia telah menerima hampir $700 juta dalam pembiayaan dan merancang untuk membangunkan robot humanoid yang boleh berjalan secara bebas dalam tahun hadapan. Dan Optimus Prime Tesla telah berulang kali menerima berita baik. Tiada siapa yang meragui bahawa tahun ini akan menjadi tahun apabila robot humanoid meletup. SanctuaryAI, sebuah syarikat robotik yang berpangkalan di Kanada, baru-baru ini mengeluarkan robot humanoid baharu, Phoenix. Pegawai mendakwa bahawa ia boleh menyelesaikan banyak tugas secara autonomi pada kelajuan yang sama seperti manusia. Pheonix, robot pertama di dunia yang boleh menyelesaikan tugas secara autonomi pada kelajuan manusia, boleh mencengkam, menggerakkan dan meletakkan setiap objek secara elegan di sisi kiri dan kanannya dengan perlahan. Ia boleh mengenal pasti objek secara autonomi

See all articles