Dialog interaktif manusia-komputer didorong oleh model besar

Pengenalan: Teknologi perbualan ialah salah satu keupayaan teras interaksi manusia digital Perkongsian ini terutamanya daripada Baidu Bermula daripada R&D dan aplikasi berkaitan PLATO, mari kita bincangkan tentang kesan model besar pada sistem dialog dan beberapa peluang untuk manusia digital Tajuk perkongsian ini ialah: Dialog interaktif manusia-komputer yang dipromosikan oleh model besar.

Pengenalan hari ini bermula dari perkara berikut:

• Tinjauan keseluruhan sistem dialog
• Baidu PLATO dan teknologi yang berkaitan
• Aplikasi, cabaran dan prospek model besar dialog

1. Gambaran keseluruhan sistem dialog​

1

Dalam kehidupan seharian, kita sering bersentuhan dengan beberapa sistem dialog berorientasikan tugas, seperti meminta pembantu mudah alih untuk menetapkan penggera atau meminta pembesar suara pintar memainkan lagu. Teknologi untuk dialog menegak jenis ini dalam bidang tertentu agak matang, dan reka bentuk sistem biasanya modular, termasuk modul seperti pemahaman dialog, pengurusan dialog dan penjanaan bahasa semula jadi.

Proses umum dialog berasaskan tugas tradisional adalah seperti berikut: pengguna memasukkan ayat, dan sistem menghuraikan melalui modul pemahaman bahasa semula jadi Niat berkaitan dan pasangan nilai slot, slot ini dipratakrifkan modul pengurusan dialog menjejaki status berbilang pusingan dialog, dan berinteraksi dengan pangkalan data luaran untuk membuat keputusan tindakan sistem; modul generasi , balasan output dikembalikan kepada pengguna.

Dalam beberapa tahun kebelakangan ini, banyak penyelidikan telah dilakukan tentang teknologi perbualan domain terbuka, yang bermaksud anda boleh bersembang pada sebarang topik tanpa mengehadkan bidang. Kerja-kerja perwakilan termasuk Google Meena, Mata Blender dan Baidu PLATO Berbanding dengan sistem dialog modular tradisional, sistem dialog hujung ke hujung ini secara langsung menjana balasan yang sepadan berdasarkan konteks dialog.

2. Penjanaan dialog hujung ke hujung - peluang baharu untuk sistem dialog

Tamat- ke hujung Sistem dialog hujung ke hujung boleh direka bentuk berdasarkan RNN, LSTM atau Transformer Seni bina rangkaian terutamanya merangkumi dua bahagian: Pengekod pengekod dan Penyahkod penyahkod.

Pengekod mengekod teks dialog ke dalam vektor untuk memahami kandungan dialog. ​

Penyahkod menjana balasan yang sepadan berdasarkan vektor perbualan dan vektor tersembunyi sebelumnya. Korpus latihan terutamanya bahan dialog Renren Komen boleh diekstrak daripada forum media sosial awam (Weibo, Tieba, Twitter, dll.) sebagai bahan dialog anggaran. Objektif latihan adalah terutamanya untuk meminimumkan fungsi kemungkinan log negatif.

3 Cabaran yang dihadapi oleh dialog domain terbuka

Model berskala besar yang dilatih berdasarkan sejumlah besar korpus sudah boleh menghasilkan tindak balas yang agak koheren, tetapi masih terdapat banyak masalah.

Masalah pertama ialah kandungannya agak kosong dan kurang maklumat. Balasan model agak ringkas dan tidak mempunyai kandungan yang besar, yang boleh mengurangkan kesediaan pengguna untuk bersembang dengan mudah.

Masalah lain ialah penyalahgunaan pengetahuan Sesetengah maklumat terperinci yang dikembalikan oleh model kadangkala salah atau rekaan.

2. Baidu PLATO

Baidu PLATO telah melakukan beberapa penerokaan teknikal ke atas dua jenis masalah di atas.

Mensasarkan lubang kandungan, teknologi penjanaan dialog pra-terlatih berdasarkan pembolehubah pendam diskret dicadangkan untuk mencapai penjanaan respons domain terbuka yang munasabah dan pelbagai. Mengenai masalah penyalahgunaan pengetahuan, model penjanaan dialog yang diselia dengan lemah yang mengintegrasikan pengetahuan dicadangkan, yang mengurangkan masalah penyalahgunaan pengetahuan pada tahap tertentu dan meningkatkan kekayaan dialog dan ketepatan pengetahuan. "Balasan selamat"?

Pada asasnya, dialog domain terbuka ialah masalah satu-ke-banyak biasanya terdapat banyak respons yang munasabah kepada perbualan, dengan latar belakang dan pengalaman orang yang berbeza. bergantung pada senario, respons yang diberikan mungkin berbeza. Latihan rangkaian saraf biasanya dipetakan satu demi satu, dan apa yang dipelajari ialah keadaan purata tindak balas ini, seperti "sangat baik" dan "hahaha", yang merupakan tindak balas yang selamat dan tidak bermaklumat.

2. Model penjanaan dialog ruang terpendam PLATO-1

PLATO -1 Mencadangkan pemodelan hubungan satu-dengan-banyak dialog berdasarkan pembolehubah pendam diskret.

Ini melibatkan dua tugas, memetakan konteks dialog asal dan tindak balas dialog kepada pembolehubah terpendam Tindakan Terpendam, dan kemudian mempelajari tindak balas berdasarkan penjanaan pembolehubah terpendam. PLATO menggunakan rangkaian yang sama untuk bersama-sama memodelkan dua tugasan, mula-mula menganggarkan taburan pembolehubah terpendam, sampel pembolehubah terpendam melalui Gumbel Softmax, dan kemudian belajar untuk menjana respons Dengan cara ini, respons yang pelbagai boleh dijana dengan mensampel pembolehubah terpendam yang berbeza.

Kes menunjukkan bahawa pembolehubah pendam yang berbeza dipilih untuk menghasilkan kesan tindak balas yang berbeza. Respons ini semuanya berdasarkan maklum balas di atas dan berkualiti, sesuai dan bermaklumat.

3. Model dialog umum PLATO-2 berdasarkan pembelajaran kursus

PLATO-2 terus berkembang berdasarkan PLATO-1. Dari segi parameter, ia telah mencapai skala 1.6 bilion dari segi korpus pra-latihan, terdapat 1.2 bilion sampel dialog bahasa Cina dan 700 juta sampel bahasa Inggeris dari segi kaedah latihan, ia berdasarkan pembelajaran kursus; Apakah Pembelajaran Kurikulum? Hanya belajar yang mudah dahulu dan kemudian yang kompleks.

Selain itu, PLATO-2 terus menggunakan reka bentuk rangkaian bersatu PrefixLM, sambil mempelajari pemahaman dialog dan penjanaan balasan. Latihan berdasarkan pembelajaran kursus adalah sangat cekap, dan latihan berasaskan rangkaian bersatu adalah sangat kos efektif.

PLATO-2 Peringkat pertama melatih penjanaan balasan am dipermudahkan, dan peringkat kedua melatih penjanaan balasan yang pelbagai, pembolehubah terpendam ditambah pada peringkat ini. Peringkat kedua juga memperkenalkan latihan penilaian koheren dialog Berbanding dengan pemeringkatan kebarangkalian generasi biasa, penilaian koheren secara berkesan meningkatkan kualiti pemilihan jawapan.

Bolehkah PLATO-2 digunakan sebagai rangka kerja dialog universal? Kita tahu bahawa medan dialog secara kasar dibahagikan kepada tiga kategori, dialog berasaskan tugas, dialog pengetahuan dan sistem sembang domain terbuka. Terlalu mahal untuk melatih pelbagai jenis sistem dialog secara berasingan mekanisme pembelajaran kursus PLATO-2 boleh membantunya menjadi rangka kerja dialog universal. Dialog berasaskan tugasan agak tertumpu Model pemetaan satu-satu dalam pembelajaran kursus pertama hanya memenuhi situasi ini. Terdapat situasi satu-ke-banyak dalam dialog pengetahuan dan sembang santai boleh menggunakan pengetahuan yang berbeza untuk membalas kepada pengguna, dan dalam dialog sembang kasual, anda boleh Terdapat arah balasan yang berbeza, jadi model pembelajaran kursus peringkat kedua boleh digunakan untuk dialog pengetahuan dan sistem sembang.

4 PLATO-2 dalam DSTC-9

Untuk mengesahkan keupayaan ini, PLATO-2 menyertai DSTC, pertandingan antarabangsa dalam bidang dialog, merangkumi pelbagai bidang dialog secara menyeluruh PLATO-2 memenangi 5 kejuaraan dalam 6 tugasan dengan rangka kerja teknikal bersatu Ini adalah kali pertama dalam sejarah DSTC.

5 PLATO-XL berbilion-bilion parameter model penjanaan dialog Cina dan Inggeris

Apakah kesan jika kita terus menaikkan skala parameter model PLATO? Pada September 2021, kami melancarkan PLATO-XL, model penjanaan perbualan Cina dan Inggeris berskala puluhan bilion pertama di dunia.

Dalam bahasa Cina dan Inggeris, beberapa produk komersial biasa dibandingkan dari segi rasional, kekayaan dan daya tarikan sudut lain, kesan PLATO jauh ke hadapan.

Akaun awam WeChat "Baidu PLATO" mempunyai akses kepada model PLATO-XL, dan semua orang boleh mencubanya dan mengalaminya.

Bilangan parameter model PLATO telah meningkat daripada 100 juta kepada 1 bilion dan kemudian kepada 10 bilion. ia mencapai 1 bilion Perbualan telah menjadi lebih lancar dan lancar, dan keupayaan logik model telah bertambah baik dengan ketara apabila skala mencapai puluhan bilion.

6. Masalah penyalahgunaan pengetahuan

Model besar mempunyai masalah penyalahgunaan pengetahuan. Bagaimana kita manusia menyelesaikan masalah yang kita tidak faham? Mungkin anda boleh menyemaknya pada enjin carian Bolehkah kaedah mencari pengetahuan luaran ini digunakan dalam model?

Menyepadukan pengetahuan luaran untuk membantu penjanaan balasan adalah hala tuju yang menjanjikan untuk mengurangkan penyalahgunaan pengetahuan. Walau bagaimanapun, untuk bahan dialog berskala besar, hanya teks dialog dan maklumat balasan yang wujud, dan adalah mustahil untuk mengetahui hubungan yang sepadan antara korpus tertentu dan pengetahuan luaran, iaitu, terdapat kekurangan maklumat label untuk pemilihan pengetahuan.

7 Pemilihan pengetahuan PostKS berdasarkan bimbingan posterior

PostKS It. merupakan salah satu karya perwakilan dalam bidang dialog pengetahuan Ia mencadangkan pemilihan pengetahuan berdasarkan bimbingan posterior Semasa proses latihan, pengagihan pengetahuan terdahulu dianggarkan kepada pengedaran pengetahuan posterior.

Semasa peringkat inferens, memandangkan tiada maklumat posterior, model perlu menggunakan pengetahuan terdahulu untuk penjanaan balasan. Akan ada ketidakkonsistenan dalam fasa latihan dan inferens Latihan adalah berdasarkan posterior tetapi inferens hanya boleh berdasarkan sebelumnya.

8. Dialog pengetahuan tanpa pengawasan PLATO-KAG berdasarkan pengoptimuman bersama

Model tanpa pengawasan PLATO-KAG, Pemilihan pengetahuan dan penjanaan balasan dimodelkan bersama. Bidang pengetahuan teratas dipilih berdasarkan priori dan dihantar ke model generatif untuk latihan bersama hujung ke hujung. Jika pengetahuan dipilih dengan tepat, ia akan sangat membantu dalam menjana balasan sasaran, dan kebarangkalian penjanaan akan menjadi agak tinggi Pengoptimuman bersama akan menggalakkan pemilihan ini dan menggunakan pengetahuan yang diberikan jika pengetahuan itu dipilih dengan baik tidak mempunyai kesan ke atas menjana balasan sasaran, dan kebarangkalian penjanaan akan menjadi agak tinggi, pengoptimuman bersama menyekat pilihan ini dan mengabaikan pengetahuan yang diberikan. Ini mengoptimumkan pemilihan pengetahuan dan penjanaan balasan.

9 Dialog peningkatan pengetahuan komprehensif PLATO

<.>Dari perspektif pengalaman pembelajaran pengetahuan manusia, kami juga menghafal banyak pengetahuan dalam otak kami PLATO telah mencuba peningkatan pengetahuan yang menyeluruh, sambil melakukan aplikasi luaran pengetahuan dan internalisasi pengetahuan. Di satu pihak, ia menggunakan pengetahuan luaran am tidak berstruktur dan pengetahuan potret, dan sebaliknya, ia juga menghayati sejumlah besar pengetahuan soal jawab ke dalam parameter model melalui pra-latihan. Selepas peningkatan pengetahuan yang menyeluruh itu, kadar ralat pengetahuan dialog umum telah dikurangkan daripada 30% kepada 17%, ketekalan potret telah ditingkatkan daripada 7.1% kepada 80%, dan ketepatan soal jawab telah ditingkatkan daripada 3.2% kepada 90%.

Gambar di bawah adalah perbandingan kesan selepas peningkatan pengetahuan yang menyeluruh.

Perlu diambil perhatian bahawa walaupun kesannya telah bertambah baik dengan ketara, masalah penyalahgunaan pengetahuan belum dapat diselesaikan sepenuhnya , hanya diringankan Itu sahaja. Walaupun skala model diperluaskan kepada ratusan bilion parameter, masalah penyalahgunaan pengetahuan masih wujud.

Masih terdapat beberapa perkara yang layak untuk usaha berterusan kami: Yang pertama ialah masa pencetus pengetahuan luaran, iaitu, bila untuk menyemak pengetahuan luaran dan bila untuk menggunakan pengetahuan dalaman, yang mempengaruhi aliran dan penglibatan perbualan. Yang kedua ialah ketepatan pemilihan pengetahuan, yang melibatkan teknologi perolehan Korpus pengetahuan Cina dibina dalam skala berbilion-bilion untuk mendapatkan pengetahuan yang sesuai dengan tepat melalui dialog yang diberikan. Yang ketiga ialah rasional dan kesetiaan penggunaan pengetahuan Kadangkala model tidak dapat memahami pengetahuan dengan tepat atau mengelirukan dan menggabungkan jawapan yang tidak tepat.

3 Aplikasi, cabaran dan prospek dialog model besar

Di atas memperkenalkan beberapa teknologi dialog PLATO, seperti memperkenalkan model berskala besar, menambah pembolehubah terpendam diskret untuk meningkatkan kekayaan dialog, dan memperkenalkan pengetahuan luaran untuk mengurangkan penyalahgunaan pengetahuan melalui pengenalan tanpa pengawasan Jadi apakah aplikasi praktikal dalam pengeluaran sebenar?

1. Aplikasi pelaksanaan

PLATO digunakan dalam pembesar suara pintar dan manusia maya Menyediakan keupayaan sembang domain terbuka dalam berbilang senario seperti , sembang komuniti, dsb.

Di sebelah kiri ialah orang digital Du Xiaoxiao Cari Du Xiaoxiao dalam APP Baidu atau terus masukkan "Hello" untuk menghubungi orang digital itu orang digital melalui sembang proses carian yang mudah dan akses yang cekap kepada jawapan dan maklumat. Di sebelah kanan ialah orang maya dalam kaedah input Baidu, yang tampan dan pandai bersembang.

2 Cabaran yang dihadapi dalam aplikasi pendaratan

Dalam aplikasi pendaratan, cabaran pertama ialah prestasi Inferens , data prestasi 1.6 bilion parameter PLATO disenaraikan dalam rajah. Bilangan pengendali telah dikurangkan sebanyak 98% melalui gabungan operator, dan masa inferens model telah dikurangkan daripada 1.2s pada v100 asal kepada kurang daripada 300ms pada kad A10. Melalui pengoptimuman ketepatan pengiraan, 40% daripada memori video telah dikurangkan Kad inferens telah ditukar daripada v100 kepada A10 untuk mengurangkan kos Pada masa yang sama, pengoptimuman seni bina dan penghijrahan platform telah dilakukan untuk mengurangkan overhed pautan.

Cabaran kedua ialah keselamatan perbualan . Contohnya, pertuturan yang berbahaya, sensitiviti politik, diskriminasi serantau, privasi dan banyak aspek lain memerlukan perhatian yang besar. PLATO membersihkan korpus secara mendalam, memadamkan sampel yang tidak selamat dan menggunakan model diskriminasi yang selamat untuk mengalih keluar respons calon yang tidak selamat selepas penggunaan. Pada masa yang sama, jadual kata kunci dikekalkan dan latihan lawan ditambah untuk mengesan dan mengisi jurang untuk meningkatkan keselamatan. 3. Outlook adalah a Dengan pembangunan model berskala besar dalam beberapa tahun kebelakangan ini, kemajuan ketara telah dicapai dalam bidang dialog Pada masa ini, model boleh menjana dialog yang koheren, lancar, kaya dan merentas domain, tetapi masih terdapat cabaran besar dalam aspek tersebut. sebagai emosi, reka bentuk watak, personaliti dan spekulasi.

Jalan di hadapan masih panjang dan penuh rintangan, tetapi ia akan datang tidak lama lagi, kita boleh melihat ke hadapan. Saya juga berharap rakan-rakan dalam bidang dialog dapat bekerjasama untuk mencapai kemuncak dialog manusia-komputer.

4. Sesi Soal Jawab

S: Bagaimanakah keberkesanan dialog dinilai?

J: Pada masa ini, tiada penunjuk automatik dalam sistem dialog yang lebih konsisten dengan penilaian manual, dan penilaian manual masih menjadi standard emas. Semasa fasa pembangunan, anda boleh mengulang dengan merujuk kepada kebingungan Dalam penilaian komprehensif terakhir, anda masih perlu meminta sebilangan besar penyumber ramai untuk berinteraksi dengan mesin yang berbeza dan melakukan penilaian manual pada beberapa penunjuk. Penunjuk penilaian juga berubah dengan perkembangan teknologi Contohnya, apabila kefasihan tidak lagi menjadi masalah, maka petunjuk seperti keselamatan dan ketepatan pengetahuan boleh ditambah untuk menilai kebolehan yang lebih maju.

Atas ialah kandungan terperinci Dialog interaktif manusia-komputer didorong oleh model besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!