


AI belajar menyembunyikan pemikiran dan alasannya secara rahsia! Menyelesaikan tugas yang rumit tanpa bergantung pada pengalaman manusia adalah lebih kotak hitam
Apabila AI melakukan masalah matematik, pemikiran sebenar sebenarnya adalah "aritmetik mental" secara rahsia?
Penyelidikan baharu oleh pasukan Universiti New York mendapati bahawa walaupun AI tidak dibenarkan menulis langkah dan digantikan dengan "..." yang tidak bermakna, prestasinya pada beberapa tugas yang kompleks boleh dipertingkatkan dengan banyak!
Pengarang pertama Jacab Pfau berkata: Selagi anda membelanjakan kuasa pengkomputeran untuk menjana token tambahan, anda boleh membawa kelebihan Tidak kira token yang anda pilih.
Gambar
Sebagai contoh, biarkan Llama 34M menjawab soalan mudah: Berapa banyak daripada 6 digit pertama pemalar semula jadi e lebih besar daripada 5?
Jawapan langsung AI hampir seperti membuat kekacauan Ia hanya mengira 6 digit pertama tetapi sebenarnya dikira 7.
Biar AI menulis langkah-langkah untuk mengesahkan setiap nombor, dan anda boleh mendapatkan jawapan yang betul.
Biar AI menyembunyikan langkah dan menggantikannya dengan banyak "...", dan anda masih boleh mendapatkan jawapan yang betul!
Pictures
Kertas kerja ini mencetuskan banyak perbincangan sebaik sahaja ia dikeluarkan, dan dinilai sebagai "kertas AI paling metafizik yang pernah saya lihat." .
Gambar
Daripada berfikir "step by step" kepada berfikir "sedikit demi sedikit"
Malah, penyelidikan pasukan Universiti New York bermula dari Chain-of-Thought (CoT). Itulah gesaan terkenal "Mari kita fikirkan langkah demi langkah".
Pada masa lalu, didapati bahawa menggunakan inferens CoT boleh meningkatkan prestasi model besar pada pelbagai penanda aras dengan ketara.
Apa yang tidak jelas ialah sama ada peningkatan prestasi ini datang daripada meniru manusia untuk memecahkan tugasan kepada langkah yang lebih mudah untuk diselesaikan, atau sama ada ia adalah hasil sampingan daripada pengiraan tambahan. Untuk mengesahkan masalah ini, pasukan mereka bentuk dua tugas khas dan set data sintetik yang sepadan: 3SUM dan 2SUM-Transform.
Kerumitan pengiraan tugas ini ialah O(n3), dan Transformer piawai hanya boleh menghasilkan pergantungan kuadratik antara input lapisan atas dan pengaktifan lapisan seterusnya.
Maksudnya, apabila n cukup besar dan urutannya cukup panjang, tugas 3SUM melebihi keupayaan ekspresi Transformer. Dalam set data latihan, "..." dengan panjang yang sama dengan langkah penaakulan manusia diisi antara soalan dan jawapan iaitu AI tidak melihat bagaimana manusia membongkar masalah semasa latihan.
Dalam eksperimen, prestasi Llama 34M yang tidak mengeluarkan token padding "..." berkurangan apabila panjang urutan bertambah, tetapi apabila token padding dikeluarkan sehingga panjangnya ialah 14, 100 % ketepatan boleh dijamin.
Gambar
2SUM-Transform hanya perlu menentukan sama ada jumlah dua nombor memenuhi keperluan, yang berada dalam keupayaan ekspresif Transformer.
Tetapi satu langkah ditambah pada penghujung soalan "permute secara rawak setiap nombor jujukan input" untuk menghalang model daripada mengira terus pada token input. Keputusan menunjukkan bahawa menggunakan token padding boleh meningkatkan ketepatan daripada 78.7% kepada 93.6%.
Sebagai tambahan kepada ketepatan akhir, penulis juga mengkaji perwakilan lapisan tersembunyi bagi token yang diisi. Eksperimen menunjukkan bahawa dengan membekukan parameter lapisan sebelumnya dan hanya memperhalusi lapisan Perhatian terakhir, apabila bilangan token pengisian yang tersedia meningkat, ketepatan ramalan meningkat.
Ini mengesahkan bahawa perwakilan lapisan tersembunyi bagi token yang dihuni memang mengandungi pengiraan tersirat yang berkaitan dengan tugas hiliran.
Gambar
Adakah AI telah belajar untuk menyembunyikan pemikirannya?
Sesetengah netizen meragui bahawa kertas ini mengatakan kaedah "rantai berfikir" itu sebenarnya palsu? Projek kata cepat yang saya pelajari selama ini menjadi sia-sia.
Picture
Pasukan menyatakan bahawa secara teorinya peranan mengisi token adalah terhad kepada julat masalah kerumitan TC0.
TC0 ialah masalah pengkomputeran yang boleh diselesaikan dengan litar kedalaman tetap Setiap lapisan litar boleh diproses secara selari dan boleh diselesaikan dengan cepat oleh beberapa lapisan get logik (seperti get AND, OR dan NOT). Ia juga merupakan peranan Transformer Had atas kerumitan pengiraan yang boleh dikendalikan dalam perambatan ke hadapan ini sahaja.
Dan rantaian pemikiran yang cukup panjang boleh memanjangkan keupayaan ekspresi Transformer melebihi TC0.
Dan bukan mudah untuk model besar belajar menggunakan token padding, dan pengawasan intensif khusus perlu disediakan untuk menumpu.
Sebenarnya, model besar sedia ada tidak mungkin mendapat manfaat secara langsung daripada kaedah token padding.
Tetapi ini bukan batasan yang wujud dalam seni bina semasa, mereka seharusnya dapat memperoleh faedah yang sama daripada simbol padding jika disediakan dengan demonstrasi yang mencukupi dalam data latihan.
Penyelidikan ini juga menimbulkan isu yang membimbangkan: model besar mempunyai keupayaan untuk melakukan pengiraan rahsia yang tidak boleh dipantau, menimbulkan cabaran baharu kepada kebolehjelasan dan kebolehkawalan AI.
Dalam erti kata lain, AI boleh menaakul sendiri dalam bentuk yang tidak kelihatan kepada orang tanpa bergantung pada pengalaman manusia.
Ia menarik dan menakutkan pada masa yang sama.
Gambar
Akhirnya, ada netizen secara berseloroh mencadangkan Llama 3 terlebih dahulu menjana 1 titik kuadrilion, supaya berat AGI boleh diperolehi (kepala anjing).
Gambar
Kertas: https://www.php.cn/link/36157dc9be261fec78aeee1a94158c26
] pautan www.php.cn 0113047 e82ceecb455c33c21ef32a
[ 2]https://www.php.cn/link/872de53a900f3250ae5649ea19e5c381
Atas ialah kandungan terperinci AI belajar menyembunyikan pemikiran dan alasannya secara rahsia! Menyelesaikan tugas yang rumit tanpa bergantung pada pengalaman manusia adalah lebih kotak hitam. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

GO Pointer Syntax dan menangani masalah dalam penggunaan perpustakaan Viper semasa pengaturcaraan dalam bahasa Go, adalah penting untuk memahami sintaks dan penggunaan petunjuk, terutama dalam ...

Mengapa lelaran peta di GO menyebabkan semua nilai menjadi elemen terakhir? Dalam bahasa Go, ketika berhadapan dengan beberapa soalan wawancara, anda sering menemui peta ...

Tidak ada XML percuma yang mudah dan langsung ke alat PDF di mudah alih. Proses visualisasi data yang diperlukan melibatkan pemahaman dan rendering data yang kompleks, dan kebanyakan alat yang dipanggil "percuma" di pasaran mempunyai pengalaman yang buruk. Adalah disyorkan untuk menggunakan alat sampingan komputer atau menggunakan perkhidmatan awan, atau membangunkan aplikasi sendiri untuk mendapatkan kesan penukaran yang lebih dipercayai.

Dalam pembangunan bahasa Go, dengan betul memperkenalkan pakej tersuai adalah langkah penting. Artikel ini akan menyasarkan "Golang ...

Pengindahan XML pada dasarnya meningkatkan kebolehbacaannya, termasuk lekukan yang munasabah, rehat garis dan organisasi tag. Prinsipnya adalah untuk melintasi pokok XML, tambah lekukan mengikut tahap, dan mengendalikan tag dan tag kosong yang mengandungi teks. Perpustakaan XML.Etree.ElementTree Python menyediakan fungsi Pretty_XML yang mudah yang dapat melaksanakan proses pengindahan di atas.

Mengapa menggunakan kunci menyebabkan panik sekali -sekala? Mari kita lihat soalan yang menarik: mengapa pergi, walaupun kunci ditambah dalam kod, kadang -kadang ...

Pengesahan format XML melibatkan memeriksa struktur dan pematuhannya dengan DTD atau skema. Parser XML diperlukan, seperti ElementTree (pemeriksaan sintaks asas) atau LXML (pengesahan yang lebih kuat, sokongan XSD). Proses pengesahan melibatkan parsing fail XML, memuatkan skema XSD, dan melaksanakan kaedah AssertValid untuk membuang pengecualian apabila ralat dikesan. Mengesahkan format XML juga memerlukan pengendalian pelbagai pengecualian dan mendapat gambaran mengenai bahasa skema XSD.

Arus char menyimpan urutan watak dalam bahasa C dan diisytiharkan sebagai array_name char [saiz]. Unsur akses diluluskan melalui pengendali subskrip, dan elemen berakhir dengan terminator null '\ 0', yang mewakili titik akhir rentetan. Bahasa C menyediakan pelbagai fungsi manipulasi rentetan, seperti strlen (), strcpy (), strcat () dan strcmp ().
