Penembusan antara muka otak-komputer UC Berkeley: menggunakan gelombang otak untuk menghasilkan semula muzik, membawa berita baik kepada orang yang mengalami masalah pertuturan!

Dalam era antara muka otak-komputer, terdapat gajet baharu setiap hari.

Hari ini saya membawakan anda empat perkataan: muzik pemindahan otak.

Secara khusus, pertama sekali menggunakan AI untuk memerhati jenis gelombang radio yang dihasilkan oleh sekeping muzik tertentu dalam otak seseorang, dan kemudian secara langsung mensimulasikan aktiviti gelombang radio ini di dalam otak orang yang memerlukan untuk mencapainya. rawatan. Tujuan jenis penyakit tertentu.

Mari kita lihat kembali Pusat Perubatan Albany beberapa tahun yang lalu dan lihat bagaimana ahli sains saraf di sana menjalankan penyelidikan

Berita baik untuk orang yang mengalami gangguan pertuturan!

Di Pusat Perubatan Albany, sekeping muzik yang dipanggil "The Other Wall" dimainkan perlahan-lahan, memenuhi seluruh wad hospital

Pesakit yang berbaring di atas katil sedang bersedia untuk menjalani pembedahan epilepsi, mereka bukan doktor, tetapi mendengar.

Saintis saraf berkumpul di tepi untuk memerhatikan aktiviti elektroencephalogram pesakit yang dipaparkan pada skrin komputer

Pemerhatian utama adalah bahawa beberapa bahagian otak mendengar sesuatu yang unik kepada muzik aktiviti elektrod boleh menghasilkan semula muzik yang mereka dengar.

Dalam kandungan yang dinyatakan di atas, unsur-unsur yang terlibat dalam muzik termasuklah pic, irama, harmoni dan lirik

Penyelidikan ini telah dijalankan selama lebih sepuluh tahun. Ahli sains saraf di Universiti California, Berkeley, menjalankan analisis terperinci data daripada 29 pesakit epilepsi yang mengambil bahagian dalam eksperimen tersebut. Para saintis berjaya membina semula muzik berdasarkan hasil aktiviti elektrod dalam otak pesakit lagu semasa, salah satu lirik "All in all it was just a brick in the wall" mempunyai irama yang sangat lengkap Walaupun liriknya tidak terlalu jelas, para penyelidik mengatakan bahawa ia boleh ditafsirkan dan tidak huru-hara.

Dan lagu ini juga merupakan kes pertama di mana saintis berjaya membina semula lagu melalui aktiviti elektrod otak.

Hasilnya menunjukkan bahawa dengan merakam dan menyahaktifkan gelombang otak, beberapa unsur muzik dan suku kata boleh ditangkap.

Elemen muzik ini boleh dipanggil prosodi dalam istilah profesional, termasuk irama, tekanan, irama, dll. Makna unsur-unsur ini tidak boleh disampaikan melalui kata-kata sahaja

Selain itu, memandangkan intrakranial electroencephalograms (iEEGs) hanya merekodkan aktiviti yang berlaku di lapisan permukaan otak (iaitu, bahagian yang paling hampir dengan pusat pendengaran), terdapat tidak perlu risau ada sesiapa yang akan Mendengar lagu apa yang anda sedang dengar dengan cara ini (ketawa)

Namun, bagi mereka yang mengalami strok atau lumpuh, mengakibatkan masalah komunikasi, pembiakan seperti ini daripada aktiviti elektrod pada permukaan otak , yang boleh membantu mereka menghasilkan semula kemuzikan karya tersebut.

Jelas sekali, ini jauh lebih baik daripada rendisi robotik yang tidak jelas seperti yang sebelumnya. Seperti yang dinyatakan di atas, terdapat beberapa perkara yang tidak cukup dengan perkataan sahaja.

Robert Knight, pakar neurosains di Institut Neurosains Helen Wills dan seorang profesor psikologi di Universiti California, Berkeley, berkata ini adalah keputusan yang luar biasa.

"Bagi saya, salah satu daya tarikan muzik terletak pada mukadimahnya dan kandungan emosi yang diungkapkannya. Dan dengan penemuan berterusan dalam bidang antara muka otak-komputer, teknologi ini boleh diberikan kepada orang yang memerlukan melalui The kaedah implantasi menyediakan sesuatu yang hanya boleh diberikan oleh muzik Penonton mungkin termasuk pesakit ALS, atau pesakit epilepsi, secara ringkasnya, sesiapa sahaja yang penyakitnya mempengaruhi saraf keluaran pertuturan mereka "

Dalam erti kata lain, Kita kini boleh melakukan lebih daripada hanya bahasa itu sendiri, dan emosi yang dinyatakan dalam kata-kata mungkin kelihatan sedikit nipis berbanding muzik. Saya percaya bahawa mulai sekarang, kita telah benar-benar memulakan perjalanan tafsiran

Dengan kemajuan teknologi rakaman gelombang otak, suatu hari nanti kita mungkin boleh merakam melalui elektrod yang dilekatkan pada kulit kepala tanpa membuka otak. Knight berkata elektroensefalografi kulit kepala semasa sudah boleh mengukur dan merekodkan beberapa aktiviti otak, seperti mengesan satu huruf daripada rentetan huruf yang besar. Walaupun ia tidak begitu cekap, setiap huruf mengambil masa sekurang-kurangnya 20 saat, tetapi ia masih merupakan permulaan.

Sebab untuk membangunkan elektrod kulit kepala secara bersungguh-sungguh ialah tahap kecekapan semasa dalam teknologi bukan invasif tidak mencukupi. Dalam erti kata lain, ukuran kraniotomi tidak boleh 100% selamat Ketepatan pengukuran elektrod kulit kepala, terutamanya untuk ukuran otak dalam, masih perlu dipertingkatkan. Boleh dikatakan ia telah mencapai beberapa kejayaan, tetapi tidak sepenuhnya

Bolehkah anda membaca fikiran?

Beri jawapan terus: tidak.

Sebagai contoh, bagi mereka yang mengalami kesukaran bercakap, teknologi antara muka otak-komputer adalah setara dengan memberi mereka "keyboard" yang menangkap aktiviti gelombang otak, mereka boleh menaip pada "keyboard" ini untuk menyatakan apa yang mereka ingin ungkapkan.

Sebagai contoh, ambil Hawking sebagai contoh, peranti yang digunakannya adalah untuk menjana pertuturan suara robot dengan menangkap gelombang otaknya #🎜🎜 ##🎜 🎜#

Dengan analogi, anda sepatutnya boleh faham. Hanya dengan melihat "keyboard" ini, anda tidak dapat mengetahui apa yang difikirkannya. Teknologi kini membolehkan papan kekunci diaktifkan dan mengeluarkan pertuturan. Jika tiada siapa yang mahu menaip, papan kekunci tidak akan diaktifkan dan anda tidak akan tahu apa yang difikirkannya 🎜🎜#

Kandungan eksperimen

#🎜. 🎜#Sila lihat gambar di bawah Rajah A menunjukkan rajah bentuk gelombang keseluruhan lagu yang digunakan dalam eksperimen. Di bawah Rajah A ialah spektrogram pendengaran lagu Bar oren atas menunjukkan kehadiran vokal

Rajah B menunjukkan sinar-X gambar liputan elektrod pesakit. Setiap titik mewakili elektrod.

Gambar C menunjukkan isyarat elektrod bagi empat elektrod dalam gambar B. Pada masa yang sama, angka itu juga menunjukkan aktiviti frekuensi tinggi (HFA) yang dicetuskan oleh rangsangan lagu, diwakili oleh garis pendek hitam gelongsor, dengan frekuensi antara 70 dan 150 Hz

Rajah D menunjukkan spektrogram pendengaran yang diperbesarkan dan peta aktiviti saraf elektrod bagi bahagian pendek (10 saat) lagu dalam A. Kita boleh perhatikan bahawa titik masa HFA bertepatan dengan garis merah di sebelah kanan setiap segi empat tepat yang ditanda dalam spektrogram

Gandingan ini membentuk penyelidik Contoh untuk latihan dan menilai model pengekodan. Keputusan eksperimen penyelidik menunjukkan bahawa bilangan elektrod yang digunakan sebagai peramal dalam model penyahkodan adalah berkaitan secara langsung dengan ketepatan ramalan Terdapat hubungan logaritma di antara mereka, seperti yang ditunjukkan dalam rajah di bawah.

Sebagai contoh, ketepatan ramalan terbaik sebanyak 80% diperoleh menggunakan 43 elektrod (atau 12.4%) ( The ketepatan ramalan terbaik ialah keputusan menggunakan kesemua 347 elektrod).

Hubungan yang sama diperhatikan dalam pesakit tunggal, inilah yang penyelidik dapati

Selain itu, Menggunakan analisis bootstrap, penyelidik memerhatikan hubungan logaritma yang serupa antara tempoh set data dan ketepatan ramalan, seperti yang ditunjukkan dalam rajah di bawah.

Sebagai contoh, jika anda menggunakan data dengan panjang 69 saat (36.1% daripada jumlah panjang), anda boleh Mendapat 90% daripada persembahan terbaik (persembahan terbaik diperoleh menggunakan keseluruhan panjang lagu 190.72 saat)

Mengenai jenis model, penyahkodan linear Penyahkodan purata ketepatan ialah 0.325, manakala ketepatan penyahkodan purata untuk penyahkodan tak linear menggunakan rangkaian neural bersambung penuh dua lapisan ialah 0.429.

Secara keseluruhan, pembinaan semula lagu muzik linear (Audio S2) kedengaran teredam, dengan isyarat berirama yang kuat kepada kehadiran beberapa elemen muzik (merujuk kepada suku kata vokal dan gitar utama), tetapi mungkin kepada persepsi orang lain terhad.

Pembinaan semula lagu bukan linear (Audio S3) menghasilkan semula lagu yang boleh dikenali dengan butiran yang lebih kaya berbanding pembinaan semula linear. Kualiti persepsi unsur-unsur spektrum seperti pic dan timbre dipertingkatkan dengan ketara, dan ciri-ciri fonem dapat dilihat dengan lebih jelas. Beberapa titik buta pengecaman yang wujud dalam pembinaan semula linear juga telah dipertingkatkan pada tahap tertentu

Berikut adalah ilustrasi:

Jadi penyelidik menggunakan model bukan linear untuk membina semula lagu melalui 629 elektrod sabar .

Prestasi model ini lebih baik daripada pembinaan semula linear berdasarkan semua elektrod pesakit, tetapi ketepatan penyahkodan tidak sebaik yang diperoleh menggunakan 347 elektrod daripada semua pesakit

Dari segi persepsi, ini berdasarkan pesakit tunggal Model menyediakan perincian spektral-temporal yang cukup tinggi untuk penyelidik mengenal pasti lagu (Audio S4)

Pada masa yang sama, untuk menilai had bawah penyahkodan berdasarkan pesakit tunggal, penyelidik mengumpul aktiviti saraf daripada otak 3 pesakit tambahan Bilangan elektrod dalam 3 pesakit ini adalah lebih kecil, masing-masing 23, 17, dan 10, manakala bilangan elektrod dalam pesakit ke-29 yang disebutkan di atas ialah 61, dan ketumpatan elektrod juga. agak rendah. Sudah tentu, kawasan tindak balas lagu masih dilindungi, dan ketepatan penyahkodan linear juga dianggap baik.

Dalam bentuk gelombang yang dibina semula (fail audio S5, S6 dan S7), para penyelidik mendapatkan semula sebahagian daripada suara manusia. Mereka kemudiannya mengukur kebolehcaman lagu yang dinyahkod dengan mengaitkan spektrogram lagu asal dengan lagu yang dinyahkod.

Kedua-dua pembinaan semula linear (Rajah A di bawah) dan pembinaan semula tak linear (Rajah B di bawah) memberikan perkadaran yang lebih tinggi bagi kadar pengecaman yang betul.

Selain itu, para penyelidik menganalisis pekali STRF (medan penerimaan spektral-temporal) daripada semua 347 elektrod penting untuk menilai bagaimana unsur muzik yang berbeza dikodkan dalam kawasan otak yang berbeza.

Analisis ini mendedahkan corak penalaan spektrum dan temporal yang berbeza

Untuk mencirikan secara menyeluruh perhubungan antara spektrogram lagu dan aktiviti saraf, para penyelidik melakukan analisis komponen bebas (ICA) pada semua STRF yang penting.

Para penyelidik menemui 3 komponen dengan corak penalaan spektral-temporal yang berbeza Kadar penjelasan varians bagi setiap komponen melebihi 5%, dan jumlah kadar penjelasan varians mencapai 52.5%, seperti yang ditunjukkan dalam rajah di bawah.

Bahagian pertama (varian diterangkan 28%) menunjukkan sekumpulan pekali positif yang diedarkan pada julat frekuensi yang luas dari kira-kira 500Hz hingga 7000Hz dan tetingkap masa yang sempit kira-kira 90ms sebelum HFA diperhatikan Kelihatan dalam

ini serta-merta kelompok menunjukkan penalaan permulaan bunyi. Bahagian ini dipanggil bahagian awal dan hanya muncul pada elektrod di bahagian belakang STG dua hala, seperti yang ditunjukkan dalam gambar di bawah

Akhirnya, penyelidik mengatakan bahawa kajian masa depan mungkin meluaskan liputan elektrod , tukar ciri dan matlamat model, atau tambahkan dimensi tingkah laku baharu

Atas ialah kandungan terperinci Penembusan antara muka otak-komputer UC Berkeley: menggunakan gelombang otak untuk menghasilkan semula muzik, membawa berita baik kepada orang yang mengalami masalah pertuturan!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!