AI meniru model memori otak manusia, dan skor permainan melonjak sebanyak 29.9%

Kami sering diajar untuk "berfikir dua kali sebelum bertindak" dan menggunakan sepenuhnya pengalaman terkumpul Sekarang ayat ini juga telah memberi inspirasi kepada AI.

Model AI tradisional yang membuat keputusan tidak dapat mengumpul pengalaman secara berkesan disebabkan kewujudan kesan melupakan, tetapi penyelidikan yang diterajui China telah mengubah cara AI mengingati.

Kaedah ingatan baharu meniru otak manusia, meningkatkan kecekapan AI secara berkesan dalam mengumpul pengalaman, dengan itu meningkatkan prestasi permainan AI sebanyak 29.9%.

Pasukan penyelidik terdiri daripada enam orang, masing-masing dari Institut Penyelidikan AI Mira-Québec dan Institut Penyelidikan Microsoft Montreal, empat daripadanya adalah orang Cina.

Mereka menamakan keputusan Pengubah Keputusan dengan Memori (DT-Mem).

Berbanding dengan model tradisional membuat keputusan, DT-Mem lebih banyak digunakan dan kecekapan operasi model juga lebih tinggi.

Selain kesan penggunaan, masa latihan DT-Mem juga telah dipendekkan daripada minimum 200 jam kepada 50 jam.

Pada masa yang sama, pasukan itu juga mencadangkan kaedah penalaan halus untuk membolehkan DT-Mem menyesuaikan diri dengan senario baharu yang belum pernah dilatih.

Model yang ditala halus juga boleh berprestasi baik dalam permainan yang tidak pernah dipelajari sebelum ini.

Mekanisme kerja diilhamkan oleh manusia

Model membuat keputusan tradisional direka berdasarkan LLM, menggunakan memori tersirat dan prestasinya bergantung pada data dan pengiraan.

Kenangan tersirat dijana secara tidak sedar dan bukannya diingati dengan sengaja, dan oleh itu tidak dapat diingat semula secara sedar.

Secara ringkasnya, kandungan yang berkaitan jelas disimpan di sana, tetapi model itu tidak mengetahui kewujudannya.

Ciri ingatan tersirat ini menentukan bahawa model tradisional mempunyai fenomena lupa, menyebabkan kecekapan kerjanya rendah.

Fenomena lupa ialah selepas mempelajari cara baru untuk menyelesaikan masalah, model mungkin melupakan kandungan lama, walaupun masalah lama dan baru adalah jenis yang sama.

Otak manusia menggunakan kaedah storan memori teragih, dan kandungan ingatan disimpan secara berselerak di pelbagai kawasan otak yang berbeza.

Pendekatan ini membantu mengurus dan mengatur pelbagai kemahiran secara berkesan, dengan itu mengurangkan fenomena lupa.

Diilhamkan oleh ini, pasukan penyelidik mencadangkan modul memori kerja dalaman untuk menyimpan, mencampur dan mendapatkan maklumat untuk tugas hiliran yang berbeza.

Secara khusus, DT-Mem terdiri daripada tiga bahagian: Transformer, modul memori dan modul persepsi berbilang lapisan (MLP).

DT-Mem’s Transformer meniru seni bina GPT-2, tetapi memadamkan lapisan suapan ke hadapan selepas mekanisme perhatian.

Pada masa yang sama, modul MLP dalam GPT-2 dibahagikan kepada komponen bebas sebagai sebahagian daripada DT-Mem.

Di antara kedua-duanya, pasukan penyelidik memperkenalkan modul memori kerja untuk menyimpan dan memproses maklumat perantaraan.

Struktur ini diilhamkan oleh mesin Turing saraf, di mana memori digunakan untuk membuat kesimpulan pelbagai algoritma.

Modul memori menganalisis output maklumat oleh Transformer dan menentukan lokasi storannya dan cara mengintegrasikannya dengan maklumat sedia ada.

Selain itu, modul ini juga mempertimbangkan cara maklumat ini akan digunakan dalam proses membuat keputusan pada masa hadapan.

Tugas-tugas ini secara kasarnya diselesaikan dalam lima langkah Modul memori mula-mula dimulakan sebagai matriks rawak.

Kemudian datang pengisihan maklumat input Langkah ini bukan untuk menghantar maklumat kepada Transformer, tetapi untuk menyimpannya dalam ruang yang sama dalam bentuk tupel.

Selepas itu, anda perlu menentukan lokasi storan. Manusia biasanya menyimpan maklumat berkaitan di lokasi yang sama, dan DT-Mem juga berdasarkan prinsip ini.

Dua langkah terakhir - kemas kini dan pengambilan memori adalah teras modul memori dan pautan paling penting dalam keseluruhan DT-Mem.

Kemas kini ingatan, iaitu menyunting dan menggantikan maklumat sedia ada untuk memastikan maklumat dapat dikemas kini dalam masa mengikut keperluan tugasan.

Dalam langkah ini, DT-Mem akan mengira padam dan menulis vektor untuk menentukan cara mencampurkannya dengan data sedia ada.

Pendapatan semula memori ialah akses dan pemulihan maklumat sedia ada, dan pengambilan maklumat yang relevan dan berguna tepat pada masanya apabila keputusan perlu dibuat.

Sebelum dimasukkan ke dalam penggunaan sebenar, DT-Mem masih perlu melalui proses pra-latihan.

Bagi penalaan halus DT-Mem, pasukan juga mencadangkan cara baharu.

Memandangkan ia menggunakan data berlabel berasaskan tugas, penalaan halus ini boleh membantu DT-Mem menyesuaikan diri dengan tugasan baharu.

Proses ini berdasarkan penyesuaian peringkat rendah (LoRA), menambahkan elemen peringkat rendah pada matriks sedia ada.

Masa latihan dipendekkan sehingga 32 kali

Untuk menguji keupayaan DT-Mem membuat keputusan, pasukan penyelidik membiarkannya bermain beberapa permainan permainan.

Terdapat 5 permainan kesemuanya, semuanya daripada Atari.

Pada masa yang sama, pasukan itu turut menguji prestasi model tradisional M[ulti-game]DT sebagai rujukan.

Hasilnya, keputusan terbaik DT-Mem dalam 4 perlawanan adalah lebih baik daripada MDT.

Khususnya, DT-Mem meningkatkan skor ternormal DQN sebanyak 29.9% berbanding MDT.

Walau bagaimanapun, jumlah parameter DT-Mem hanyalah 20M, iaitu hanya 10% daripada MDT (200M parameter).

Persembahan sebegitu tidak keterlaluan sama sekali.

Selain prestasi cemerlangnya, kecekapan latihan DT-Mem juga mengatasi MDT.

Versi parameter 13M MDT mengambil masa 200 jam untuk berlatih, manakala 20M DT-Mem hanya mengambil masa 50 jam.

Berbanding dengan versi 200M, masa latihan dipendekkan sebanyak 32 kali, tetapi prestasinya lebih baik.

Keputusan ujian kaedah penalaan halus yang dicadangkan oleh pasukan juga menunjukkan bahawa penalaan halus ini meningkatkan keupayaan DT-Mem untuk menyesuaikan diri dengan yang tidak diketahui senario.

Perlu diingatkan bahawa permainan yang digunakan untuk ujian dalam jadual di bawah diketahui oleh MDT, jadi prestasi MDT tidak digunakan sebagai asas untuk pengukuran dalam pusingan ini.

Selain bermain permainan, pasukan itu juga menguji DT-Mem menggunakan penanda aras Meta-World ML45.

Yang dijadikan rujukan kali ini ialah H[yper]DT dan P[romot]DT.

Hasilnya menunjukkan bahawa antara model tanpa penalaan halus, skor DT-Mem adalah 8 mata peratusan lebih tinggi daripada HDT.

Perlu diambil perhatian bahawa walaupun HDT yang diuji di sini hanya mempunyai 69K parameter, ia bergantung pada model pra-terlatih dengan parameter 2.3M, jadi nombor parameter sebenar adalah lebih daripada 10 kali ganda daripada DT-Mem ( 147K) kali.

Alamat kertas: https://arxiv.org/ abs/2305.16338

Atas ialah kandungan terperinci AI meniru model memori otak manusia, dan skor permainan melonjak sebanyak 29.9%. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!