


Aplikasi mekanisme perhatian dalam NLP dalam pemprosesan bahasa semula jadi
Konsep perhatian
Konsep perhatian terkenal dalam model seq2seq terjemahan mesin saraf. Jumlah maklumat yang dihantar daripada pengekod kepada penyahkod adalah terhad, mengehadkan prestasi model. Walau bagaimanapun, pengenalan perhatian boleh mengatasi kesesakan ini dan membolehkan model mengendalikan ayat panjang dan semantik kompleks dengan lebih baik.
Ringkasnya, model menggunakan semua keadaan tersembunyi pengekod semasa peringkat penyahkodan dan menyuapkan keadaan tersembunyi terakhir kepada penyahkod sebagai keadaan tersembunyi awal. Faedahnya ialah model ini dapat menggunakan lebih banyak maklumat semasa penyahkodan dan dapat "memberi perhatian" kepada bahagian jujukan input yang paling relevan, membuat ramalan yang lebih tepat apabila menjana bahagian jujukan output yang berlainan.
Idea rangka kerja am perhatian
Walaupun mekanisme perhatian berbeza dalam seni bina dan butiran pelaksanaan yang berbeza, ia juga mempunyai beberapa persamaan. Sebagai contoh, pertimbangkan senario di mana kita ingin membuat ramalan menggunakan rangkaian saraf dengan seni bina tertentu. Dalam kes ini, kami mendapat vektor yang mengandungi beberapa maklumat yang dikodkan. Kita boleh menggunakan vektor ini untuk ramalan, seperti memasukkannya ke dalam lapisan yang disambungkan sepenuhnya, dan kemudian memprosesnya melalui lapisan softmax. Walaupun langkah pemprosesan tertentu mungkin berbeza-beza, idea asas adalah serupa merentas seni bina yang berbeza.
Namun, keputusan ramalannya ternyata tidak memuaskan. Mungkin terdapat banyak sebab, berikut adalah idea yang mungkin:
1. Vektor yang digunakan ini tidak mengandungi semua maklumat yang berguna untuk mencapai ramalan yang baik.
Selalunya, maklumat yang diperlukan untuk membuat ramalan yang baik tersebar merentasi banyak vektor, seperti dalam kes tugasan NLP, di mana terdapat jujukan vektor yang dikodkan oleh penanda. Walaupun semua maklumat yang diedarkan telah diambil kira, beberapa maklumat pasti akan hilang kerana ia mengalir lebih dalam dalam rangkaian saraf.
2. Apa yang berguna bukan sahaja maklumat individu yang terkandung dalam vektor ini, tetapi juga hubungannya dengan vektor semasa.
Vektor semasa mungkin perlu berinteraksi dan berkomunikasi dengan vektor lain dan membantu menentukan maklumat yang perlu dihantar. Oleh itu, cara yang lebih bijak diperlukan untuk menggabungkan semua vektor yang berpotensi berguna yang anda miliki dan membenarkan model mempelajari perkara yang perlu diberi perhatian untuk membuat ramalan yang lebih baik.
Selepas mempertimbangkan kedua-dua perkara ini, anggap bahawa kini terdapat vektor sedemikian dan vektor lain yang layak.
Dalam rangka kerja ini terima pertanyaan dan biarkan ia berinteraksi dengan kunci satu demi satu:
1 Interaksi khusus antara pertanyaan dan setiap kunci, ia boleh menjadi gabungan produk dalaman atau tambahan atau bergabung dan suapan ke Small rangkaian saraf, dsb. Setiap kunci pertanyaan yang berbeza diproses menggunakan operasi yang sama dengan parameter yang sama dilatih daripada perambatan balik. Tambahan pula, adalah dikehendaki bahawa output akhir selepas operasi ini adalah satu nilai. Nilai keluaran ini dipanggil tenaga. Selepas mengulangi proses ini pada pertanyaan dan semua vektor utama, satu siri tenaga akan diperolehi.
2 Gunakan lapisan softmax untuk menormalkan semua tenaga.
3 Lakukan penjumlahan wajaran bagi vektor nilai, dan berat ialah tenaga ternormal. Ini menghasilkan vektor konteks dengan dimensi yang sama seperti vektor nilai yang mengandungi maklumat tentang semua elemen digabungkan dengan cara yang bijak.
4. Vektor konteks dan vektor pertanyaan boleh digunakan bersama untuk membuat ramalan, mis.
Di atas ialah proses rangka kerja umum perhatian Mari kita lihat bagaimana rangka kerja ini digunakan untuk tugasan yang berbeza.
Tugas Analisis Sentimen
Tugas jenis analisis sentimen ialah tugas klasifikasi di mana input adalah sekeping teks dan output ialah label yang sepadan dengan salah satu emosi yang mungkin. Sebelum teks dimasukkan ke dalam rangkaian saraf, ia perlu dibersihkan, diformatkan, ditandakan dan ditukar kepada satu siri indeks berasaskan perbendaharaan kata. Walaupun ini bukan seq2seq tetapi seq2one, mekanisme perhatian masih terpakai dan membantu meningkatkan prestasi.
Rangkaian berasaskan LSTM satu arah atau dua hala biasa boleh digunakan untuk melaksanakan tugas ini. Dalam kes ini, hanya keadaan tersembunyi terakhir lapisan terakhir (satu arah) atau dua keadaan tersembunyi terakhir (dua arah, satu dari hadapan dan satu dari belakang) digunakan untuk ramalan dengan menghantar ke kepala pengelasan, cth. lapisan bersambung sepenuhnya dan softmax . Maklumat terhad yang dibawa hanya oleh keadaan tersembunyi terakhir menetapkan kesesakan untuk prestasi model.
Tugas terjemahan tarikh
Terjemahan tarikh ialah contoh tugasan seq2seq peringkat aksara. Matlamat tugas ini adalah untuk mengambil tarikh yang boleh dibaca manusia sebagai input, seperti "27 Disember 2022", dan mengeluarkan tarikh boleh dibaca mesin yang mewakili tarikh yang sama dengan input, seperti "2022-12-27".
Model berasaskan perhatian mempunyai blok perhatian sebelum unit LSTM dalam penyahkod. Pada setiap langkah gelung, vektor konteks output blok perhatian dan output langkah terakhir digabungkan dan kemudian disalurkan ke unit LSTM. Satu lagi pelaksanaan perhatian adalah untuk menggabungkan blok perhatian dengan vektor output langkah semasa selepas unit LSTM dan vektor konteks output, yang kemudiannya disalurkan ke lapisan bersambung sepenuhnya untuk meramalkan token seterusnya. Blok perhatian di sini mengikuti rangka kerja umum, vektor kunci dan nilai adalah set vektor yang sama, iaitu keadaan tersembunyi lapisan terakhir pengekod, dan interaksi antara pertanyaan dan setiap kunci ialah rangkaian saraf kecil.
Dalam peringkat penyahkodan, LSTM sehala meramalkan satu token pada satu masa, jadi input untuk setiap langkah mempunyai dua pilihan: token yang diramalkan oleh langkah semasa daripada output langkah sebelumnya atau kebenaran asas. Di sini hiperparameter boleh ditakrifkan untuk mengawal peratusan token input yang digunakan semasa latihan adalah kebenaran asas dan boleh dicuba untuk mengoptimumkan prestasi model.
Atas ialah kandungan terperinci Aplikasi mekanisme perhatian dalam NLP dalam pemprosesan bahasa semula jadi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Laman web ini melaporkan pada 27 Jun bahawa Jianying ialah perisian penyuntingan video yang dibangunkan oleh FaceMeng Technology, anak syarikat ByteDance Ia bergantung pada platform Douyin dan pada asasnya menghasilkan kandungan video pendek untuk pengguna platform tersebut Windows , MacOS dan sistem pengendalian lain. Jianying secara rasmi mengumumkan peningkatan sistem keahliannya dan melancarkan SVIP baharu, yang merangkumi pelbagai teknologi hitam AI, seperti terjemahan pintar, penonjolan pintar, pembungkusan pintar, sintesis manusia digital, dsb. Dari segi harga, yuran bulanan untuk keratan SVIP ialah 79 yuan, yuran tahunan ialah 599 yuan (nota di laman web ini: bersamaan dengan 49.9 yuan sebulan), langganan bulanan berterusan ialah 59 yuan sebulan, dan langganan tahunan berterusan ialah 499 yuan setahun (bersamaan dengan 41.6 yuan sebulan) . Di samping itu, pegawai yang dipotong juga menyatakan bahawa untuk meningkatkan pengalaman pengguna, mereka yang telah melanggan VIP asal

Tingkatkan produktiviti, kecekapan dan ketepatan pembangun dengan menggabungkan penjanaan dipertingkatkan semula dan memori semantik ke dalam pembantu pengekodan AI. Diterjemah daripada EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG, pengarang JanakiramMSV. Walaupun pembantu pengaturcaraan AI asas secara semulajadi membantu, mereka sering gagal memberikan cadangan kod yang paling relevan dan betul kerana mereka bergantung pada pemahaman umum bahasa perisian dan corak penulisan perisian yang paling biasa. Kod yang dijana oleh pembantu pengekodan ini sesuai untuk menyelesaikan masalah yang mereka bertanggungjawab untuk menyelesaikannya, tetapi selalunya tidak mematuhi piawaian pengekodan, konvensyen dan gaya pasukan individu. Ini selalunya menghasilkan cadangan yang perlu diubah suai atau diperhalusi agar kod itu diterima ke dalam aplikasi

Untuk mengetahui lebih lanjut tentang AIGC, sila layari: 51CTOAI.x Komuniti https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou berbeza daripada bank soalan tradisional yang boleh dilihat di mana-mana sahaja di Internet memerlukan pemikiran di luar kotak. Model Bahasa Besar (LLM) semakin penting dalam bidang sains data, kecerdasan buatan generatif (GenAI) dan kecerdasan buatan. Algoritma kompleks ini meningkatkan kemahiran manusia dan memacu kecekapan dan inovasi dalam banyak industri, menjadi kunci kepada syarikat untuk kekal berdaya saing. LLM mempunyai pelbagai aplikasi Ia boleh digunakan dalam bidang seperti pemprosesan bahasa semula jadi, penjanaan teks, pengecaman pertuturan dan sistem pengesyoran. Dengan belajar daripada sejumlah besar data, LLM dapat menjana teks

Model Bahasa Besar (LLM) dilatih pada pangkalan data teks yang besar, di mana mereka memperoleh sejumlah besar pengetahuan dunia sebenar. Pengetahuan ini dibenamkan ke dalam parameter mereka dan kemudiannya boleh digunakan apabila diperlukan. Pengetahuan tentang model ini "diperbaharui" pada akhir latihan. Pada akhir pra-latihan, model sebenarnya berhenti belajar. Selaraskan atau perhalusi model untuk mempelajari cara memanfaatkan pengetahuan ini dan bertindak balas dengan lebih semula jadi kepada soalan pengguna. Tetapi kadangkala pengetahuan model tidak mencukupi, dan walaupun model boleh mengakses kandungan luaran melalui RAG, ia dianggap berfaedah untuk menyesuaikan model kepada domain baharu melalui penalaan halus. Penalaan halus ini dilakukan menggunakan input daripada anotasi manusia atau ciptaan LLM lain, di mana model menemui pengetahuan dunia sebenar tambahan dan menyepadukannya

Editor |ScienceAI Question Answering (QA) set data memainkan peranan penting dalam mempromosikan penyelidikan pemprosesan bahasa semula jadi (NLP). Set data QA berkualiti tinggi bukan sahaja boleh digunakan untuk memperhalusi model, tetapi juga menilai dengan berkesan keupayaan model bahasa besar (LLM), terutamanya keupayaan untuk memahami dan menaakul tentang pengetahuan saintifik. Walaupun pada masa ini terdapat banyak set data QA saintifik yang meliputi bidang perubatan, kimia, biologi dan bidang lain, set data ini masih mempunyai beberapa kekurangan. Pertama, borang data adalah agak mudah, kebanyakannya adalah soalan aneka pilihan. Ia mudah dinilai, tetapi mengehadkan julat pemilihan jawapan model dan tidak dapat menguji sepenuhnya keupayaan model untuk menjawab soalan saintifik. Sebaliknya, Soal Jawab terbuka

Editor |. KX Dalam bidang penyelidikan dan pembangunan ubat, meramalkan pertalian pengikatan protein dan ligan dengan tepat dan berkesan adalah penting untuk pemeriksaan dan pengoptimuman ubat. Walau bagaimanapun, kajian semasa tidak mengambil kira peranan penting maklumat permukaan molekul dalam interaksi protein-ligan. Berdasarkan ini, penyelidik dari Universiti Xiamen mencadangkan rangka kerja pengekstrakan ciri berbilang mod (MFE) novel, yang buat pertama kalinya menggabungkan maklumat mengenai permukaan protein, struktur dan jujukan 3D, dan menggunakan mekanisme perhatian silang untuk membandingkan ciri modaliti yang berbeza penjajaran. Keputusan eksperimen menunjukkan bahawa kaedah ini mencapai prestasi terkini dalam meramalkan pertalian mengikat protein-ligan. Tambahan pula, kajian ablasi menunjukkan keberkesanan dan keperluan maklumat permukaan protein dan penjajaran ciri multimodal dalam rangka kerja ini. Penyelidikan berkaitan bermula dengan "S

Pembelajaran mesin ialah cabang penting kecerdasan buatan yang memberikan komputer keupayaan untuk belajar daripada data dan meningkatkan keupayaan mereka tanpa diprogramkan secara eksplisit. Pembelajaran mesin mempunyai pelbagai aplikasi dalam pelbagai bidang, daripada pengecaman imej dan pemprosesan bahasa semula jadi kepada sistem pengesyoran dan pengesanan penipuan, dan ia mengubah cara hidup kita. Terdapat banyak kaedah dan teori yang berbeza dalam bidang pembelajaran mesin, antaranya lima kaedah yang paling berpengaruh dipanggil "Lima Sekolah Pembelajaran Mesin". Lima sekolah utama ialah sekolah simbolik, sekolah sambungan, sekolah evolusi, sekolah Bayesian dan sekolah analogi. 1. Simbolisme, juga dikenali sebagai simbolisme, menekankan penggunaan simbol untuk penaakulan logik dan ekspresi pengetahuan. Aliran pemikiran ini percaya bahawa pembelajaran adalah proses penolakan terbalik, melalui sedia ada

Menurut berita dari laman web ini pada 1 Ogos, SK Hynix mengeluarkan catatan blog hari ini (1 Ogos), mengumumkan bahawa ia akan menghadiri Global Semiconductor Memory Summit FMS2024 yang akan diadakan di Santa Clara, California, Amerika Syarikat dari 6 hingga 8 Ogos, mempamerkan banyak produk penjanaan teknologi baru. Pengenalan kepada Sidang Kemuncak Memori dan Penyimpanan Masa Depan (FutureMemoryandStorage), dahulunya Sidang Kemuncak Memori Flash (FlashMemorySummit) terutamanya untuk pembekal NAND, dalam konteks peningkatan perhatian kepada teknologi kecerdasan buatan, tahun ini dinamakan semula sebagai Sidang Kemuncak Memori dan Penyimpanan Masa Depan (FutureMemoryandStorage) kepada jemput vendor DRAM dan storan serta ramai lagi pemain. Produk baharu SK hynix dilancarkan tahun lepas
