


Dilarang membuat model bahasa berskala besar secara rawak, dan diberikan sedikit pengetahuan luaran, alasannya sangat boleh dipercayai.
Model bahasa besar (LLM) telah menunjukkan prestasi cemerlang pada pelbagai tugasan yang kompleks melalui pembelajaran dalam konteks tanpa memerlukan latihan khusus tugasan atau penalaan halus Kemajuan terkini dalam gesaan dan penyahkodan juga telah membolehkan LLM menjadi realiti untuk menyelesaikan tugas penaakulan yang kompleks.
Walau bagaimanapun, LLM mungkin menyimpan pengetahuan yang lapuk, tidak lengkap atau tidak betul, dan untuk berjaya menggunakan LLM ke dalam aplikasi dunia sebenar, sumber pengetahuan luaran (seperti Wikipedia) adalah penting. Percubaan sebelumnya telah dibuat untuk menggunakan pengetahuan pada model bahasa yang lebih kecil (LM) seperti T5, BERT dan RoBERTa, tetapi kaedah ini selalunya memerlukan latihan tambahan atau penalaan halus, mahal dan tidak praktikal sama sekali untuk LLM.
Berdasarkan ini, penyelidik dari University of Rochester, Tencent AI Lab dan University of Pennsylvania bersama-sama mencadangkan kaedah pasca pemprosesan yang dipanggil Rethinking with Retrieval (RR) untuk Memanfaatkan pengetahuan luaran dalam LLM.
Alamat kertas: https://arxiv.org/pdf/2301.00303v1.pdf
Idea penyelidikan ini adalah untuk menggunakan kaedah penggerak rantaian pemikiran (CoT) untuk menghasilkan satu set laluan penaakulan yang berbeza, sama dengan Wang et al. 2022) kaedah. Kajian kemudiannya menggunakan setiap langkah inferens dalam laluan ini untuk mendapatkan semula pengetahuan luaran yang berkaitan, membolehkan kaedah RR memberikan penjelasan yang lebih munasabah dan ramalan yang lebih tepat.
Kajian ini menggunakan GPT-3 175B dan beberapa sumber pengetahuan luaran biasa (Wikipedia, Wikidata, WordNet dan Conceptnet) untuk menilai kaedah RR pada tiga tugas penaakulan kompleks Keberkesanan, termasuk penaakulan akal. , penaakulan temporal dan penaakulan jadual. Keputusan eksperimen menunjukkan bahawa RR secara konsisten mengatasi kaedah lain pada ketiga-tiga tugas ini tanpa latihan tambahan atau penalaan halus, menunjukkan bahawa kaedah RR mempunyai kelebihan besar dalam memanfaatkan pengetahuan luaran untuk meningkatkan prestasi LLM.
Gunakan Retrieval untuk Memikirkan Semula
Dalam amalan, walaupun LLM menangkap elemen yang diperlukan untuk menjawab soalan dengan tepat, model ini kadangkala menghasilkan hasil yang salah. Fenomena ini menunjukkan terdapat beberapa masalah dalam cara LLM menyimpan dan mendapatkan semula pengetahuan, termasuk:
- Terdapat pengetahuan berkaitan yang lapuk, tidak betul atau hilang dalam korpus pra-latihan;
- Penyimpanan pengetahuan yang berkaitan yang salah semasa pra-latihan;
- Idea umum kaedah RR adalah seperti berikut: diberikan input soalan Q, kaedah RR mula-mula menggunakan rantaian walaupun mendorong untuk menjana set laluan Inferens yang berbeza R_1, R_2, ..., R_N, di mana setiap laluan inferens R_i terdiri daripada penjelasan E_i diikuti dengan ramalan P_i, yang kemudiannya disokong dengan mendapatkan semula pengetahuan yang berkaitan K_1, ..., K_M daripada pengetahuan yang sesuai asaskan penjelasan KB dalam setiap laluan penaakulan dan pilih ramalan
yang paling sesuai dengan pengetahuan itu. Gesaan Rantaian Pemikiran (CoT). Berbeza dengan ketara daripada gesaan standard, gesaan CoT melibatkan demonstrasi contoh penaakulan langkah demi langkah dalam gesaan untuk menjana satu siri ayat pendek yang menangkap proses penaakulan.
Sebagai contoh, diberikan soalan input: "Adakah Aristotle menggunakan komputer riba gesaan CoT bertujuan untuk menjana laluan penaakulan yang lengkap:
Proses penaakulan bagi dorongan CoT ialah: "Aristotle meninggal dunia pada 322 SM. Komputer riba pertama dicipta pada tahun 1980. Oleh itu, Aristotle tidak menggunakan komputer riba. Jadi jawapannya adalah tidak. " dan bukannya hanya mengeluarkan "Tidak".
Mensampel laluan inferens yang berbeza. Sama seperti Wang et al (2022), kajian ini mengambil sampel set laluan inferens R_1, R_2, ..., R_N dan bukannya hanya mempertimbangkan laluan berkadar optimum (rakus) seperti dalam laluan Wei et al (2022). . Mengenai soalan "Adakah Aristotle menggunakan komputer riba?", jalan penaakulan yang mungkin adalah seperti berikut:
(R_1) Aristotle meninggal dunia pada tahun 2000. Komputer riba pertama dicipta pada tahun 1980. Jadi Aristotle menggunakan komputer riba. Jadi jawapan kepada soalan ini adalah ya.
(R_2) Aristotle meninggal dunia pada 322 SM. Komputer riba pertama dicipta pada tahun 2000. Oleh itu, Aristotle tidak menggunakan komputer riba. Jadi jawapannya tidak.
Pencarian pengetahuan. Pangkalan pengetahuan yang berbeza boleh digunakan untuk mengendalikan tugas yang berbeza. Sebagai contoh, untuk menjawab soalan "Adakah Aristotle menggunakan komputer riba kita boleh menggunakan Wikipedia sebagai pangkalan pengetahuan luaran KB?" Teknik pencarian maklumat boleh digunakan untuk mendapatkan semula pengetahuan yang berkaitan K_1,...K_M daripada Wikipedia berdasarkan langkah penaakulan terurai. Sebaik-baiknya, kita akan mendapatkan dua petikan berikut dari Wikipedia untuk soalan ini:
(K_1) Aristotle (384 SM hingga 322 SM) adalah ahli falsafah Yunani dan belajar sarjana pada zaman klasik kuno. Greece
(K_2) Komputer riba pertama, Epson HX-20, telah dicipta pada tahun 1980...
Penaakulan yang setia. Kita boleh menganggarkan keyakinan setiap laluan inferens R_i menggunakan fungsi f_KB(R_i), yang berdasarkan pengetahuan berkaitan K_1,...,K_M yang diambil daripada pangkalan pengetahuan KB. Ramalan akhir boleh diperolehi dengan menggunakan proses inferens berikut:
Penilaian eksperimen
Dalam ini bahagian , kajian ini membentangkan penilaian RR pada tiga tugas penaakulan yang kompleks: penaakulan akal, penaakulan temporal dan penaakulan jadual.
Persediaan percubaan. Dalam semua eksperimen, kajian ini menggunakan GPT-3 text-davinci-002 melainkan dinyatakan sebaliknya. Bilangan maksimum token yang dijana semasa penyiapan percubaan ditetapkan kepada 256, sifar pukulan, beberapa pukulan dan gesaan rantaian pemikiran, dan parameter suhu (suhu) ditetapkan kepada 0.
Keputusan. Seperti yang ditunjukkan dalam Jadual 1, kaedah cadangan kami, RR, secara konsisten mengatasi semua garis dasar pada ketiga-tiga tugas inferens tanpa latihan tambahan atau penalaan halus. Keputusan ini menyerlahkan keberkesanan RR dalam memanfaatkan pengetahuan luaran untuk meningkatkan prestasi LLM.
Kajian ini menunjukkan analisis GPT-3 dengan kaedah gesaan CoT pada set data StrategyQA. Selepas meneliti keluaran GPT-3 dengan teliti, kajian mendapati bahawa RR boleh memberikan penjelasan yang munasabah dan ramalan yang betul untuk banyak masalah. Sebagai contoh, apabila diberi soalan "Adakah Albany, Georgia akan mencapai 100,000 penduduk sebelum Albany, New York?", GPT-3 menghasilkan output berikut:
Secara keseluruhannya, jawapan output kepada soalan adalah berkualiti tinggi. Walau bagaimanapun, kajian itu juga mendapati bahawa GPT-3 kadangkala boleh memberikan sokongan fakta yang salah untuk tafsirannya atau membuat penaakulan yang salah untuk ramalannya, walaupun ia secara amnya dapat mengenal pasti sudut pandangan yang sesuai.
Fakta sokongan yang salah. Seperti yang ditunjukkan dalam Jadual 2, GPT-3 memberikan sokongan fakta yang salah untuk lagu Lil Jon dengan carta tertinggi pada carta Billboard, dengan menyatakan bahawa lagu carta tertinggi ialah Get Low dan bukannya jawapan yang betul Yeah. Di samping itu, GPT-3 tersilap memberi alasan bahawa puncak Gunung Fuji tidak boleh lebih tinggi daripada Laut Jepun, dan bukannya jawapan yang betul ialah itu.
Sila rujuk kertas asal untuk butiran lanjut teknikal.
Atas ialah kandungan terperinci Dilarang membuat model bahasa berskala besar secara rawak, dan diberikan sedikit pengetahuan luaran, alasannya sangat boleh dipercayai.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

Kertas kerja ini meneroka masalah mengesan objek dengan tepat dari sudut pandangan yang berbeza (seperti perspektif dan pandangan mata burung) dalam pemanduan autonomi, terutamanya cara mengubah ciri dari perspektif (PV) kepada ruang pandangan mata burung (BEV) dengan berkesan dilaksanakan melalui modul Transformasi Visual (VT). Kaedah sedia ada secara amnya dibahagikan kepada dua strategi: penukaran 2D kepada 3D dan 3D kepada 2D. Kaedah 2D-ke-3D meningkatkan ciri 2D yang padat dengan meramalkan kebarangkalian kedalaman, tetapi ketidakpastian yang wujud dalam ramalan kedalaman, terutamanya di kawasan yang jauh, mungkin menimbulkan ketidaktepatan. Manakala kaedah 3D ke 2D biasanya menggunakan pertanyaan 3D untuk mencuba ciri 2D dan mempelajari berat perhatian bagi kesesuaian antara ciri 3D dan 2D melalui Transformer, yang meningkatkan masa pengiraan dan penggunaan.

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi
