Para saintis serius mengenai model bahasa besar yang mencerminkan pemikiran manusia

meneroka persamaan yang menakjubkan antara LLM dan otak manusia

Artikel ini mengkaji penyelidikan terobosan menggabungkan neurosains, psikologi, dan sains komputer untuk mendedahkan persamaan yang mengejutkan -dan perbezaan penting -antara model bahasa besar (LLM) dan otak manusia, terutamanya dalam pemprosesan teks dan penalaran prosedur.

Pengenalan:

Kebangkitan LLMS telah mencetuskan perdebatan sengit mengenai potensi mereka untuk meniru proses kognitif manusia. Keupayaan maju mereka dalam bahasa, penalaran, dan penyelesaian masalah menimbulkan persoalan yang menarik mengenai prinsip-prinsip operasi yang mendasari. Artikel sebelumnya meneroka ini, terutamanya mengenai "hujah bilik Cina" dan persamaan antara pemprosesan teks LLM dan pengambilalihan bahasa manusia:

pusingan pada ujian Turing, argumen bilik Cina, dan model bahasa besar moden
Jika komunikasi lisan dan bertulis membuat manusia mengembangkan kecerdasan ... ada apa dengan model bahasa?
manusia sebagai "burung kakak tua stokastik" super-advanced?
• Provocatively, penyelidik Microsoft mengatakan mereka mendapati "percikan kecerdasan buatan" dalam GPT-4
• Bagaimana jika kecerdasan dan mungkin juga permukaan kesedaran tidak tergesa -gesa di AI, begitu perlahan ...
• kerja sebelum juga menganalisis LLM "penalaran" dan kesan kejuruteraan segera mengenai ketepatan penyelesaian masalah:

Kerja DeepMind baru memperkenalkan biji prompt tertinggi untuk model bahasa

• bagaimana model bahasa yang dilatih pada rentetan melakukan matematik?
• Penyelidikan baru -baru ini menerangi persamaan yang menarik:

Artikel ini mengkaji kajian baru -baru ini meneroka persamaan dan perbezaan antara LLM dan otak manusia, yang memberi tumpuan kepada prestasi tugas kognitif, metodologi penilaian, dan sifat kecerdasan. Lima kertas penyelidikan utama membentuk asas analisis ini:

Model bahasa yang besar dan sains kognitif: Kajian komprehensif mengenai persamaan, perbezaan ...

Kajian ini (kini tidak disemak semula) mengkaji persimpangan LLM dan sains kognitif, memperincikan kaedah untuk membandingkan LLM dan manusia Pemprosesan maklumat, termasuk penyesuaian eksperimen psikologi kognitif dan data neuroimaging. Ia menyoroti persamaan dalam pemprosesan bahasa dan penghakiman deria, sambil menekankan perbezaan penalaran, terutamanya dengan masalah novel.

• Hierarki pengekstrakan ciri kontekstual berkumpul dalam model bahasa yang besar dan otak - alam ... Kertas ini menganalisis dua belas LLM, menilai keupayaan mereka untuk meramalkan tindak balas saraf (intrakranial EEGs) semasa pemahaman ucapan. LLM yang lebih tinggi menunjukkan persamaan otak yang lebih besar, menjajarkan pengekstrakan ciri hierarki mereka dengan laluan otak menggunakan lapisan yang lebih sedikit. Maklumat kontekstual meningkatkan prestasi model dan pemprosesan seperti otak.

• Skala Skala

  : Model bahasa yang besar dengan berbilion -bilion (bukan berjuta -juta) parameter lebih baik ... Preprint yang ditinjau ini dalam elife menyiasat korelasi antara saiz LLM dan ramalan aktiviti otak manusia semasa pemprosesan bahasa semulajadi (menggunakan elektrokortikografi). LLM yang lebih besar lebih tepat meramalkan aktiviti saraf, dengan lapisan ramalan yang optimum beralih ke lapisan terdahulu dalam model yang lebih besar.

• Prinsip pengiraan yang dikongsi untuk pemprosesan bahasa dalam manusia dan model bahasa yang mendalam-PubMed artikel 2022 ini (menggunakan GPT-2) mendapati bukti empirikal bahawa manusia dan LLMs berkongsi tiga prinsip pengiraan: ramalan kata-kata yang berterusan, Menggunakan ramalan pra-onset untuk mengira kejutan pasca-onset, dan mewakili perkataan menggunakan embeddings kontekstual.

• Pengetahuan prosedur dalam pemacu pretraining Penalaran dalam model bahasa besar Preprint ini meneliti bagaimana LLM belajar untuk membuat alasan, membandingkan strategi penalaran dengan pengambilan pengetahuan faktual. Penalaran didorong oleh pengetahuan prosedural, mensintesis penyelesaian dari dokumen yang menunjukkan proses penalaran yang serupa.

Parallels dan Divergences Key:

Persamaan:

1. Pemprosesan Bahasa Hierarki: Kedua -dua LLM dan bahasa proses otak manusia secara hierarki, dengan lapisan secara progresif mengekstrak ciri linguistik kompleks. Prestasi LLM berkorelasi dengan keupayaan mereka untuk meramalkan aktiviti otak manusia semasa pemprosesan bahasa.

2. Ketergantungan Kontekstual: Kedua -dua sistem sangat bergantung pada maklumat kontekstual. Tingkap konteks yang lebih besar di LLMS meningkatkan keupayaan mereka untuk meramalkan tindak balas saraf manusia, mencerminkan pergantungan otak pada konteks untuk pemahaman.

Perbezaan:

1. Kecekapan linguistik fungsional dan formal: Walaupun LLMS cemerlang dalam kecekapan linguistik formal (tatabahasa), mereka sering berjuang dengan kecekapan berfungsi (pragmatik, aspek yang bergantung kepada konteks seperti humor atau sindiran).

2. Mekanisme memori: memori LLM berbeza dengan ketara dari ingatan manusia. Memori manusia adalah dinamik, menyesuaikan diri berdasarkan pengalaman dan persatuan; Memori LLM bergantung pada perwakilan tetap.

Menilai LLMS sebagai model kognitif:

Menilai kebolehan kognitif LLM memberikan cabaran yang unik. Penyelidik menyesuaikan eksperimen psikologi kognitif (seperti COGBENCH) dan menggunakan data neuroimaging untuk membandingkan perwakilan LLM dengan aktiviti otak manusia. Walau bagaimanapun, menafsirkan penemuan ini memerlukan berhati -hati kerana perbezaan asas antara kedua -dua sistem.

Soalan Konvergensi:

Persoalan sama ada LLMs sedang membangunkan kecerdasan sebenar masih terbuka. Walaupun prestasi mereka terhadap tugas kognitif sangat mengagumkan, perbezaan asas dengan otak manusia berterusan. Konvergensi LLM ke arah pemprosesan seperti otak menimbulkan kemungkinan yang menarik, tetapi sama ada mereka akan mencapai kecerdasan peringkat manusia tetap tidak menentu.

Kesimpulan:

Penyelidikan yang dikaji semula di sini menyoroti persamaan dan perbezaan yang menarik antara LLM dan otak manusia. Siasatan yang berterusan ini bukan sahaja memajukan pemahaman kita tentang kecerdasan buatan tetapi juga memperdalam pengetahuan kita tentang kognisi manusia sendiri.

Bacaan Lanjut:

• Kaedah baru untuk mengesan "konfabulasi" yang dilindung nilai oleh model bahasa besar
• penggunaan langsung model bahasa besar dalam sains dan teknologi moden
• analisis data yang kuat dan merancang melalui permintaan bahasa semulajadi dengan memberikan akses LLM ke ...
• melepaskan kuasa chatgpt di kelas -diskusi selepas berbulan -bulan ujian

(www.lucianoabriata.com - Langgan lebih banyak artikel. Perkhidmatan dan maklumat hubungan yang tersedia di laman web.)

Atas ialah kandungan terperinci Para saintis serius mengenai model bahasa besar yang mencerminkan pemikiran manusia. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!