


Prestasi LLM dipertingkatkan sehingga 60%! Karya agung Google ICLR 2024: Biarkan model bahasa besar mempelajari 'bahasa graf'
Dalam bidang sains komputer, struktur graf terdiri daripada nod (mewakili entiti) dan tepi (mewakili hubungan antara entiti).
Gambar ada di mana-mana.
Internet boleh dianggap sebagai rangkaian yang besar, dan enjin carian menggunakan kaedah grafik untuk menyusun dan memaparkan maklumat.
LLM terutamanya dilatih pada teks biasa, jadi menukar graf kepada teks yang boleh difahami oleh LLM adalah tugas yang mencabar kerana struktur graf pada asasnya berbeza daripada teks.
Di ICLR 2024, pasukan daripada Google meneroka cara mengubah data graf kepada bentuk yang sesuai untuk LLM faham.
Alamat kertas: https://openreview.net/pdf?id=IuXR1CCrSi
Gunakan dua kaedah berbeza untuk mengekodkan grafik dan soalan, dan kembali ke LLM Dalam proses
mereka juga membangunkan penanda aras yang dipanggil GraphQA untuk meneroka pendekatan untuk menyelesaikan masalah penaakulan graf yang berbeza dan menunjukkan cara untuk menyatakan masalah ini dengan cara yang kondusif untuk LLM menyelesaikan masalah berkaitan graf.
Menggunakan kaedah yang betul, LLM boleh meningkatkan prestasi tugas grafik sehingga 60%.
GraphOA: Satu "peperiksaan" untuk LLM
Pertama, pasukan Google mereka bentuk penanda aras GraphQA, yang boleh dilihat sebagai peperiksaan yang direka untuk menilai keupayaan LLM menangani masalah graf tertentu.
GraphOA memastikan kepelbagaian dalam keluasan dan bilangan sambungan dengan menggunakan berbilang jenis graf untuk mencari kemungkinan sisihan dalam LLM semasa memproses graf, dan menjadikan keseluruhan proses lebih dekat dengan perkara yang mungkin dihadapi oleh LLM dalam keadaan aplikasi praktikal.
Rangka kerja untuk penaakulan dengan LLM menggunakan GraphIQA
Walaupun tugasnya mudah, seperti menyemak sama ada tepi wujud, mengira bilangan nod atau tepi ini untuk memahami LLM, dsb. hubungan antara nod dan tepi Hubungan antara mereka adalah penting untuk penaakulan grafik yang lebih kompleks.
Pada masa yang sama, pasukan juga meneroka cara menukar graf kepada teks yang boleh diproses oleh LLM, seperti menyelesaikan dua isu utama berikut:
Pengekodan nod: Bagaimanakah kita mewakili satu nod? Nod boleh termasuk integer mudah, nama biasa (orang, aksara) dan huruf.
Pengekodan Tepi: Bagaimanakah kita menerangkan perhubungan antara nod? Kaedah boleh termasuk notasi kurungan, frasa (seperti "adalah kawan") dan perwakilan simbolik (seperti anak panah).
Akhirnya, penyelidik menggabungkan pelbagai kaedah pengekodan nod dan tepi secara sistematik untuk menghasilkan fungsi seperti yang ditunjukkan dalam rajah di bawah.
Contoh fungsi pengekodan graf
Bagaimana prestasi LLM?
Pasukan penyelidik menjalankan tiga eksperimen utama pada GraphOA:
- Menguji keupayaan LLM untuk mengendalikan tugas grafik
- Menguji kesan saiz LLM pada prestasi
- bentuk graf pada prestasi Impak
Dalam percubaan pertama, LLM berprestasi biasa-biasa sahaja, dan pada kebanyakan tugas asas, LLM berprestasi tidak lebih baik daripada meneka secara rawak.
Tetapi kaedah pengekodan mempengaruhi keputusan dengan ketara, seperti yang ditunjukkan dalam rajah di bawah, dalam kebanyakan kes, pengekodan "insiden" berfungsi dengan baik dalam kebanyakan tugas. Memilih fungsi pengekodan yang sesuai boleh mempertingkatkan ketepatan tugasan.
Perbandingan pelbagai fungsi pengekod graf berdasarkan ketepatan tugasan yang berbeza
Dalam ujian kedua, penyelidik menguji tugasan graf yang sama pada model yang berbeza saiz.
Dari segi kesimpulan, dalam tugasan inferens graf, model yang lebih besar berprestasi lebih baik,
Namun, menariknya, dalam tugasan "kewujudan tepi" (menentukan sama ada dua nod dalam graf disambungkan) , saiz adalah tidak sepenting tugas lain.
Malah LLM terbesar tidak boleh sentiasa mengatasi penyelesaian garis dasar yang mudah pada masalah semakan kitaran (menentukan sama ada kitaran wujud dalam graf). Ini menunjukkan bahawa LLM masih mempunyai ruang untuk penambahbaikan pada tugas graf tertentu.
Impak kapasiti model pada tugas penaakulan graf PaLM 2-XXS, Orang ramai menggunakan GraphOA untuk menjana graf struktur berbeza untuk analisis.
Contoh graf yang dijana oleh penjana graf berbeza bagi GraphQA. ER, BA, SBM dan SFN masing-masing ialah Erdős-Rényi, Barabási-Albert, model blok stokastik dan rangkaian tanpa skala.
Hasilnya menunjukkan bahawa struktur graf mempunyai kesan yang besar terhadap prestasi LLM.
Sebagai contoh, dalam tugasan bertanya sama ada gelung wujud, LLM berprestasi baik dalam graf yang berkait rapat (di mana gelung adalah biasa), tetapi kurang baik dalam graf laluan (di mana gelung tidak pernah berlaku).
Tetapi pada masa yang sama, menyediakan beberapa sampel campuran membantu LLM menyesuaikan diri Contohnya, dalam tugas pengesanan kitaran, penyelidik menambah beberapa contoh yang mengandungi kitaran dan beberapa yang tidak mengandungi kitaran dalam gesaan sebagai contoh beberapa-. pembelajaran pukulan Melalui kaedah ini meningkatkan prestasi LLM.
Bandingkan penjana graf yang berbeza pada tugasan graf yang berbeza. Pemerhatian utama ialah struktur graf mempunyai kesan yang signifikan terhadap prestasi LLM. ER, BA, SBM dan SFN masing-masing merujuk kepada Erdős-Rényi, Barabási-Albert, model blok stokastik dan rangkaian tanpa skala.
Ini hanyalah permulaan untuk membolehkan LLM memahami graf
Dalam kertas kerja, pasukan Google pada mulanya meneroka cara terbaik untuk mewakili graf sebagai teks supaya LLM dapat memahaminya.
Meningkatkan ketepatan LLM pada masalah graf dengan ketara (dari kira-kira 5% kepada lebih 60% peningkatan) dengan bantuan teknik pengekodan yang betul.
Kami juga mengenal pasti tiga faktor utama yang mempengaruhi, iaitu kaedah pengekodan untuk menukar grafik kepada teks, jenis tugas grafik yang berbeza dan struktur ketumpatan grafik.
Ini hanyalah permulaan untuk LLM memahami graf. Dengan bantuan GraphQA penanda aras baharu, kami menantikan penyelidikan lanjut untuk meneroka lebih banyak kemungkinan LLM.
Atas ialah kandungan terperinci Prestasi LLM dipertingkatkan sehingga 60%! Karya agung Google ICLR 2024: Biarkan model bahasa besar mempelajari 'bahasa graf'. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

0. Apakah fungsi artikel ini? Kami mencadangkan DepthFM: model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens. Mari kita baca karya ini bersama-sama ~ 1. Tajuk maklumat kertas: DepthFM: FastMonocularDepthEstimationwithFlowMatching Pengarang: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Saya menangis hingga mati. Dunia sedang membina model besar. Data di Internet tidak mencukupi. Model latihan kelihatan seperti "The Hunger Games", dan penyelidik AI di seluruh dunia bimbang tentang cara memberi makan data ini kepada pemakan yang rakus. Masalah ini amat ketara dalam tugas berbilang modal. Pada masa mereka mengalami kerugian, pasukan pemula dari Jabatan Universiti Renmin China menggunakan model baharu mereka sendiri untuk menjadi yang pertama di China untuk menjadikan "suapan data yang dijana model itu sendiri" menjadi kenyataan. Selain itu, ia merupakan pendekatan serampang dua mata dari segi pemahaman dan sisi penjanaan Kedua-dua pihak boleh menjana data baharu berbilang modal yang berkualiti tinggi dan memberikan maklum balas data kepada model itu sendiri. Apakah model? Awaker 1.0, model berbilang modal besar yang baru sahaja muncul di Forum Zhongguancun. Siapa pasukan itu? Enjin Sophon. Diasaskan oleh Gao Yizhao, pelajar kedoktoran di Sekolah Kecerdasan Buatan Hillhouse Universiti Renmin.

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Apa? Adakah Zootopia dibawa menjadi realiti oleh AI domestik? Didedahkan bersama-sama dengan video itu ialah model penjanaan video domestik berskala besar baharu yang dipanggil "Keling". Sora menggunakan laluan teknikal yang serupa dan menggabungkan beberapa inovasi teknologi yang dibangunkan sendiri untuk menghasilkan video yang bukan sahaja mempunyai pergerakan yang besar dan munasabah, tetapi juga mensimulasikan ciri-ciri dunia fizikal dan mempunyai keupayaan gabungan konsep dan imaginasi yang kuat. Mengikut data, Keling menyokong penjanaan video ultra panjang sehingga 2 minit pada 30fps, dengan resolusi sehingga 1080p dan menyokong berbilang nisbah aspek. Satu lagi perkara penting ialah Keling bukanlah demo atau demonstrasi hasil video yang dikeluarkan oleh makmal, tetapi aplikasi peringkat produk yang dilancarkan oleh Kuaishou, pemain terkemuka dalam bidang video pendek. Selain itu, tumpuan utama adalah untuk menjadi pragmatik, bukan untuk menulis cek kosong, dan pergi ke dalam talian sebaik sahaja ia dikeluarkan Model besar Ke Ling telah pun dikeluarkan di Kuaiying.

Baru-baru ini, bulatan tentera telah terharu dengan berita: jet pejuang tentera AS kini boleh melengkapkan pertempuran udara automatik sepenuhnya menggunakan AI. Ya, baru-baru ini, jet pejuang AI tentera AS telah didedahkan buat pertama kali, mendedahkan misterinya. Nama penuh pesawat pejuang ini ialah Variable Stability Simulator Test Aircraft (VISTA). Ia diterbangkan sendiri oleh Setiausaha Tentera Udara AS untuk mensimulasikan pertempuran udara satu lawan satu. Pada 2 Mei, Setiausaha Tentera Udara A.S. Frank Kendall berlepas menggunakan X-62AVISTA di Pangkalan Tentera Udara Edwards Ambil perhatian bahawa semasa penerbangan selama satu jam, semua tindakan penerbangan telah diselesaikan secara autonomi oleh AI! Kendall berkata - "Sejak beberapa dekad yang lalu, kami telah memikirkan tentang potensi tanpa had pertempuran udara-ke-udara autonomi, tetapi ia sentiasa kelihatan di luar jangkauan." Namun kini,
