superbody rangkaian saraf? Makmal LV Kebangsaan baharu mencadangkan teknologi pengklonan rangkaian baharu

Dalam filem itu, apabila kuasa otak heroin Lucy semakin berkembang, dia memperoleh kebolehan berikut:

• 10%: Mampu mengawal saraf autonomi badan sistem sistem untuk meningkatkan koordinasi badan dan kelajuan tindak balas.
• 30%: Keupayaan untuk meramal masa depan dan meramalkan tindakan orang ramai, meningkatkan cerapan dan pertimbangan.
• 50%: Dapat meramalkan perubahan masa depan dengan merasakan perubahan kecil dalam persekitaran sekeliling.
• 70%: Mampu mengawal pergerakan badan dan objek, memiliki pergerakan dan kemahiran tempur yang luar biasa.
• 90%: Mampu berhubung dengan alam semesta dan masa, memiliki kuasa ilham dan gerak hati.
• 100%: Mampu mencapai kuasa ghaib, melebihi had kognisi manusia.

Pada penghujung filem, heroin secara beransur-ansur hilang dan bertukar menjadi bentuk tenaga tulen, akhirnya hilang ke alam semesta dan menjadi satu dengan alam semesta dan masa. Realisasi badan super manusia adalah keupayaan untuk berhubung dengan dunia luar untuk mendapatkan nilai yang tidak terhingga. Memindahkan idea ini ke domain rangkaian saraf, jika sambungan dengan keseluruhan rangkaian boleh diwujudkan, juga boleh merealisasikan superbody rangkaian, dan secara teorinya akan memperoleh keupayaan ramalan tanpa had .

Iaitu, rangkaian fizikal pasti akan mengehadkan pertumbuhan prestasi rangkaian Apabila rangkaian sasaran disambungkan ke Zoo Model, rangkaian tidak lagi mempunyai entiti, tetapi rangkaian Bentuk badan super yang disambungkan di antara mereka.

Gambar: Perbezaan antara rangkaian superbody dan rangkaian entiti. Rangkaian badan super tidak mempunyai entiti dan merupakan satu bentuk sambungan antara rangkaian

Idea badan super rangkaian ini dikongsi dalam artikel ini di CVPR 2023 Ia boleh diterokai dalam kertas kerja "Pengklonan Rangkaian Separa" . Dalam kertas kerja ini, Universiti Nasional Singapura makmal LV mencadangkan teknologi pengklonan rangkaian baharu.

Pautan: https://arxiv.org/abs/2303.10597

01 Definisi Masalah

Dalam artikel tersebut, penulis menyebut bahawa menggunakan teknologi pengklonan rangkaian ini untuk mencapai penyahmaterialan rangkaian boleh membawa kelebihan berikut:

• Lemah Kebergantungan data: Hanya data pembetulan separa diperlukan untuk mengubah suai beberapa modul sambungan
• Kerumitan latihan yang rendah: Hanya memperhalusi beberapa modul sambungan dan modul ramalan tugasan diperlukan
• Keperluan storan rendah: hanya laluan rangkaian yang bersambung perlu disimpan, tidak perlu menyimpan keseluruhan rangkaian
• Mampan dan boleh pulih: laluan bersambung boleh ditingkatkan atau dikurangkan, tanpa sebarang pengubahsuaian pada Model Zoo Modify
• Mesra penghantaran: hanya maklumat laluan sambungan dihantar semasa penghantaran rangkaian, dan tidak perlu menghantar keseluruhan rangkaian

Asas pelaksanaan rangkaian badan super ialah Zoo Model yang berkembang pesat, dengan sejumlah besar model pra-latihan tersedia untuk digunakan. Oleh itu, untuk sebarang tugasan T, kami sentiasa boleh mencari satu atau lebih model supaya tugasan model sedia ada ini boleh digubah menjadi tugasan yang diperlukan . Iaitu:

(tiga rangkaian dipilih untuk sambungan).

Seperti yang ditunjukkan dalam rajah di atas, untuk tugas T, untuk membina rangkaian superbody M_c yang sepadan , artikel ini mencadangkan Rangka kerja bangunan berikut:

• Langkah 1: Cari rangkaian ontologi M_t yang paling sesuai supaya persilangan T⋂T_t set tugasan T_t rangkaian ontologi M_t dan set tugasan yang diperlukan T adalah yang terbesar. rangkaian ontologi ditetapkan sebagai Rangkaian utama; >
• Langkah 3: Gunakan teknologi pengklonan rangkaian
• untuk mencari dan menyambungkan rangkaian yang diperbetulkan sebahagiannya M_s^1 dan M_s^2 ke rangkaian ontologi M_t Langkah 4: Gunakan sebahagian daripada data pembetulan untuk memperhalusi modul sambungan dan modul ramalan rangkaian.
• Ringkasnya, teknologi pengklonan rangkaian yang diperlukan untuk membina superbody rangkaian yang dicadangkan dalam artikel ini boleh dinyatakan sebagai:

Antaranya, M_s mewakili set rangkaian yang telah disemak, jadi bentuk sambungan superbody rangkaian adalah rangkaian ontologi ditambah satu atau beberapa rangkaian yang telah disemak semula teknologi pengklonan adalah untuk mengklon rangkaian yang disemak separa yang diperlukan dan benamkannya ke dalam Dalam rangkaian ontologi.

Secara khusus, rangka kerja pengklonan rangkaian yang dicadangkan dalam artikel ini termasuk dua perkara teknikal berikut:

Untuk klon yang mengandungi rangkaian pembetulan P, titik teknikal pertama ialah

kedudukan bahagian utama Setempat (∙)

. Memandangkan rangkaian pembetulan mungkin mengandungi maklumat tugas yang tidak berkaitan dengan set tugasan T, penentududukan bahagian utama Setempat (∙) bertujuan untuk mencari bahagian dalam rangkaian pembetulan yang berkaitan dengan tugas T⋂T_s Parameter penentududukan diwakili oleh M^ρ Butiran pelaksanaan adalah dalam Bahagian 1. diberikan dalam subseksyen 2.1. Titik teknikal kedua ialah Sisipan modul rangkaian (∙) Ia perlu memilih titik benam rangkaian yang sesuai R^ρ untuk membenamkan semua rangkaian pembetulan. Gambaran Keseluruhan Kaedah 02Dalam bahagian kaedah pengklonan rangkaian, untuk memudahkan penerangan, kami menetapkan bilangan rangkaian pembetulan P=1 (oleh itu mengetepikan bahagian atas rangkaian pembetulan (berlabel ρ), iaitu, kami menyambungkan rangkaian ontologi dan rangkaian pembetulan untuk membina rangkaian superbody yang diperlukan.

Seperti yang dinyatakan di atas, pengklonan rangkaian termasuk penentududukan bahagian utama dan pembenaman modul rangkaian. Di sini, kami memperkenalkan modul boleh pindah perantaraan M_f untuk membantu pemahaman. Iaitu, teknologi pengklonan rangkaian mencari bahagian utama dalam rangkaian yang disemak untuk membentuk modul boleh dipindahkan M_f, dan kemudian membenamkan modul boleh dipindahkan ke dalam rangkaian ontologi M_t melalui sambungan lembut. Oleh itu, matlamat teknologi pengklonan rangkaian adalah untuk mencari dan membenamkan modul boleh dipindahkan

dengan mudah alih dan kesetiaan setempat.

2.1 Kedudukan bahagian rangkaian utama

Matlamat mencari bahagian utama rangkaian adalah untuk mempelajari fungsi pemilihan M. Fungsi pemilihan M ditakrifkan di sini sebagai topeng yang bertindak pada penapis setiap lapisan rangkaian. Modul boleh alih pada masa ini boleh dinyatakan sebagai:

Dalam formula di atas, kami mewakili rangkaian M_s yang diubah suai sebagai lapisan L, setiap lapisan Dinyatakan sebagai . Pengekstrakan modul boleh migrasi yang diketahui tidak membuat sebarang pengubahsuaian pada rangkaian pembetulan.

Untuk mendapatkan modul boleh pindah M_f yang sesuai, kami mencari bahagian eksplisit rangkaian pembetulan M_s yang memberikan sumbangan terbesar kepada hasil ramalan akhir. Sebelum ini, memandangkan sifat kotak hitam rangkaian saraf dan kami hanya memerlukan sebahagian daripada hasil ramalan rangkaian, kami menggunakan LIME untuk menyesuaikan dan membetulkan rangkaian untuk memodelkan bahagian tempatan tugasan yang diperlukan (lihat teks kertas untuk butiran khusus).

Hasil pemodelan tempatan diwakili oleh , dengan D_t ialah set data latihan sepadan dengan keputusan ramalan separa yang diperlukan (lebih kecil daripada set latihan rangkaian asal).

Oleh itu fungsi pemilihan M boleh dioptimumkan oleh fungsi objektif berikut:

Dalam formula ini , Bahagian utama penyetempatan dipasang pada model tempatan G.

2.2 Pembenaman modul rangkaian

Apabila mencari modul boleh migrasi M_f dalam rangkaian yang disemak, gunakan fungsi pemilihan M Diekstrak terus daripada M_s tanpa mengubah beratnya. Langkah seterusnya ialah memutuskan tempat untuk membenamkan modul M_f yang boleh dipindahkan dalam rangkaian ontologi M_t untuk mendapatkan prestasi pengklonan terbaik.

Pembenaman modul rangkaian dikawal oleh parameter kedudukan R. Berikutan kebanyakan tetapan penggunaan semula model, pengklonan rangkaian mengekalkan beberapa lapisan pertama model ontologi sebagai pengekstrak ciri generik, dan proses pembenaman rangkaian dipermudahkan untuk mencari kedudukan pembenaman terbaik (iaitu membenamkan modul boleh alih M_f pada lapisan Rth). Proses mencari benam boleh dinyatakan sebagai:

Sila rujuk teks untuk penjelasan formula terperinci. Secara umum, pembenaman berasaskan carian termasuk perkara berikut:

• Proses carian parameter kedudukan optimum R adalah dari lapisan dalam rangkaian ke lapisan cetek; >
• Selepas membenamkan modul kebolehpindahan dalam rangkaian badan super pada lapisan R, adalah perlu untuk tambahan memperkenalkan Penyesuai A pada kedudukan terbenam dan semula -finetune lapisan F_c (untuk rangkaian klasifikasi) Dikatakan), tetapi jumlah parameter kedua-duanya boleh diabaikan berbanding keseluruhan model zoo
• Apabila sambungan diwujudkan daripada L; -1 lapisan ke lapisan ke-0 rangkaian, kami Anggarkan secara kasar prestasi pembenaman berdasarkan nilai penumpuan kerugian bagi setiap penalaan halus, dan pilih titik nilai penumpuan minimum sebagai titik pembenaman rangkaian terakhir.

03 Aplikasi praktikal teknologi pengklonan rangkaian

Inti teknologi pengklonan rangkaian yang dicadangkan dalam artikel ini adalah untuk mewujudkan laluan ketersambungan antara rangkaian pra-latihan . Dengan mengubah suai mana-mana parameter rangkaian pra-terlatih, ia bukan sahaja boleh digunakan sebagai teknologi utama untuk membina badan super rangkaian, tetapi juga boleh digunakan secara fleksibel untuk pelbagai senario praktikal.

Senario 1: Teknologi pengklonan rangkaian membolehkan anda menggunakan Zoo Model dalam talian. Dalam sesetengah situasi di mana sumber adalah terhad, pengguna boleh menggunakan Zoo Model dalam talian secara fleksibel tanpa memuat turun rangkaian pra-latihan secara setempat.

Perhatikan bahawa model klon ditentukan oleh, di mana M_t dan M_s adalah tetap dan tidak berubah sepanjang proses. Pengklonan model tidak membuat sebarang pengubahsuaian pada model pra-latihan, dan tidak juga memperkenalkan model baharu. Pengklonan model membolehkan sebarang gabungan fungsi dalam Zoo Model, yang turut membantu mengekalkan persekitaran ekologi Model Zoo yang baik, kerana mewujudkan sambungan menggunakan M dan R ialah topeng mudah dan operasi penentududukan yang mudah dibuat asal. Oleh itu, teknologi pengklonan rangkaian yang dicadangkan menyokong penubuhan platform inferens dalam talian Model Zoo yang mampan.

Senario 2: Rangkaian yang dijana melalui pengklonan rangkaian mempunyai mod penghantaran maklumat yang lebih baik. Teknologi ini boleh mengurangkan kelewatan dan kerugian penghantaran apabila melakukan penghantaran rangkaian.

Apabila melakukan penghantaran rangkaian, kami hanya perlu menghantar koleksi Digabungkan dengan Zoo Model awam, penerima boleh memulihkan rangkaian asal. Berbanding dengan keseluruhan rangkaian klon, adalah sangat kecil, sekali gus mengurangkan kelewatan penghantaran. Jika A dan F_c masih mengalami kehilangan penghantaran, penerima boleh membetulkannya dengan mudah dengan menala halus pada set data. Oleh itu, pengklonan rangkaian menyediakan satu bentuk rangkaian baharu untuk penghantaran yang cekap.

04 Keputusan percubaan

Kami menjalankan pengesahan percubaan pada tugas pengelasan. Untuk menilai keupayaan pencirian prestasi tempatan modul boleh dipindahkan, kami memperkenalkan indeks persamaan bersyarat:

di mana Sim_cos ( ∙ ) mewakili persamaan kosinus.

Eksperimen pada MNIST, CIFAR-10, CIFAR-100 dan Tiny-ImageNet diberikan dalam jadual di atas Sebagai Hasilnya, dapat dilihat peningkatan prestasi model yang diperoleh melalui pengklonan rangkaian (PNC) adalah yang paling ketara. Dan penalaan halus keseluruhan rangkaian (PNC-F) tidak akan meningkatkan prestasi rangkaian Sebaliknya, ia akan meningkatkan berat sebelah model.

Selain itu, kami menilai kualiti modul yang boleh dipindahkan (seperti yang ditunjukkan di atas). Seperti yang dapat dilihat daripada rajah (kiri), setiap ciri yang dipelajari daripada setiap sub-set data adalah lebih kurang berkorelasi, yang menunjukkan kepentingan mengekstrak dan menyetempatkan ciri tempatan daripada rangkaian yang disemak semula. Untuk modul boleh pindah, kami mengira persamaannya Sim (∙). Rajah (kanan) menunjukkan bahawa modul boleh pindah adalah sangat serupa dalam kesamaan dengan sub-dataset yang akan diklonkan, dan hubungannya dengan sub-set data yang tinggal dilemahkan (kawasan luar pepenjuru ditandakan dengan warna yang lebih terang daripada plot matriks rangkaian sumber). Oleh itu, boleh disimpulkan bahawa modul boleh alih berjaya mensimulasikan prestasi tempatan pada set tugasan untuk diklon, membuktikan ketepatan strategi penyetempatan.

05 Ringkasan

Kertas kerja ini mengkaji tugas pemindahan pengetahuan baharu yang dipanggil pengklonan rangkaian separa (PNC), yang disalin dan ditampal daripada rangkaian yang disemak Mengklon modul parameter dan membenamkannya ke dalam rangkaian ontologi. Tidak seperti persediaan pemindahan pengetahuan sebelumnya (yang bergantung pada pengemaskinian parameter rangkaian) pendekatan kami memastikan bahawa parameter semua model pra-latihan tidak berubah. Teknologi teras PNC adalah untuk mencari bahagian utama rangkaian secara serentak dan membenamkan modul boleh tanggal Kedua-dua langkah itu saling menguatkan.

Kami menunjukkan hasil cemerlang pendekatan kami tentang ketepatan dan metrik kebolehpindahan pada berbilang set data.

Atas ialah kandungan terperinci superbody rangkaian saraf? Makmal LV Kebangsaan baharu mencadangkan teknologi pengklonan rangkaian baharu. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!