


Cambridge, Tencent AI Lab dan lain-lain mencadangkan model bahasa besar PandaGPT: satu model menyatukan enam modaliti
Penyelidik dari Cambridge, NAIST dan Tencent AI Lab baru-baru ini mengeluarkan hasil penyelidikan yang dipanggil PandaGPT, yang merupakan kaedah untuk menjajarkan dan mengikat model bahasa besar dengan modaliti berbeza untuk mencapai Teknik rentas modaliti untuk kebolehan mengikut arahan. PandaGPT boleh menyelesaikan tugas yang rumit seperti menjana penerangan imej terperinci, menulis cerita daripada video dan menjawab soalan tentang audio. Ia boleh menerima input berbilang modal secara serentak dan menggabungkan semantiknya secara semula jadi.
- Laman utama projek: https://panda-gpt.github.io/
- Kod: https://github.com/yxuansu/PandaGPT
- Kertas: http ://arxiv.org/abs/2305.16355
- Paparan Demo dalam talian: https://huggingface.co/spaces/GMFTBY/PandaGPT
Untuk merealisasikan imej & video, teks, audio, haba peta , peta kedalaman, bacaan IMU, keupayaan mengikut arahan dalam enam mod, PandaGPT menggabungkan pengekod berbilang mod ImageBind dengan model bahasa besar Vicuna (seperti yang ditunjukkan dalam rajah di atas).
Untuk menyelaraskan ruang ciri pengekod berbilang mod ImageBind dan model bahasa besar Vicuna, PandaGPT menggunakan sejumlah 160k arahan bahasa berasaskan imej yang dikeluarkan dengan menggabungkan LLaVa dan Mini-GPT4 Ikut data sebagai data latihan. Setiap contoh latihan terdiri daripada imej dan set pusingan dialog yang sepadan.
Untuk mengelakkan memusnahkan sifat penjajaran pelbagai mod ImageBind itu sendiri dan mengurangkan kos latihan, PandaGPT hanya mengemas kini modul berikut:
- Matriks unjuran linear baharu ditambahkan pada hasil pengekodan ImageBind, dan perwakilan yang dijana oleh ImageBind ditukar dan dimasukkan ke dalam urutan input Vicuna; maklumat kepada berat LoRA modul perhatian Vicuna. Jumlah bilangan parameter kedua-dua menyumbang kira-kira 0.4% daripada parameter Vicuna. Fungsi latihan ialah objektif pemodelan bahasa tradisional. Perlu diingat bahawa semasa proses latihan, hanya berat bahagian output model yang sepadan dikemas kini, dan bahagian input pengguna tidak dikira. Keseluruhan proses latihan mengambil masa lebih kurang 7 jam untuk diselesaikan pada GPU 8×A100 (40G).
- Perlu ditekankan bahawa versi semasa PandaGPT hanya menggunakan data teks imej sejajar untuk latihan, tetapi mewarisi enam keupayaan pemahaman mod pengekod ImageBind ( imej/video , teks, audio, kedalaman, peta haba dan IMU) dan sifat penjajaran antara mereka, membolehkan keupayaan rentas modal antara semua modaliti.
Dalam eksperimen, pengarang menunjukkan keupayaan PandaGPT untuk memahami modaliti yang berbeza, termasuk soalan dan jawapan berasaskan imej/video, penulisan kreatif berasaskan imej/video, berasaskan maklumat visual dan pendengaran Penaakulan dan banyak lagi, berikut ialah beberapa contoh:
Imej:
Berbanding dengan model bahasa berbilang modal yang lain, ciri paling menonjol PandaGPT ialah keupayaannya untuk memahami dan menggabungkan maklumat secara semula jadi daripada modaliti yang berbeza.
Video + Audio:
Imej + Audio:
Ringkasan
Pengarang juga merumuskan banyak masalah semasa PandaGPT dan hala tuju pembangunan masa depannya. Walaupun PandaGPT mempunyai keupayaan luar biasa untuk mengendalikan pelbagai modaliti dan gabungannya, masih terdapat banyak cara untuk meningkatkan prestasi PandaGPT dengan lebih baik.
- PandaGPT boleh meningkatkan lagi pemahaman modaliti selain daripada imej dengan menggunakan data penjajaran modal lain, seperti menggunakan data ASR dan TTS untuk modaliti teks audio. pemahaman seni dan kebolehan mengikut arahan.
- Mod selain teks hanya diwakili oleh vektor benam, menyebabkan model bahasa tidak dapat memahami maklumat terperinci model di luar teks. Lebih banyak penyelidikan tentang pengekstrakan ciri berbutir halus, seperti mekanisme perhatian rentas modal, boleh membantu meningkatkan prestasi.
- PandaGPT pada masa ini hanya membenarkan maklumat modal selain teks untuk digunakan sebagai input. Pada masa hadapan, model ini berpotensi untuk menyatukan keseluruhan AIGC ke dalam model yang sama, iaitu, satu model secara serentak boleh menyelesaikan tugasan seperti penjanaan imej & video, sintesis pertuturan dan penjanaan teks.
- Tanda aras baharu diperlukan untuk menilai keupayaan untuk menggabungkan input berbilang modal.
- PandaGPT juga mungkin menunjukkan beberapa kelemahan biasa model bahasa sedia ada, termasuk halusinasi, ketoksikan dan stereotaip.
Akhir sekali, penulis menekankan bahawa PandaGPT hanyalah prototaip penyelidikan dan belum bersedia untuk aplikasi terus dalam persekitaran pengeluaran.
Atas ialah kandungan terperinci Cambridge, Tencent AI Lab dan lain-lain mencadangkan model bahasa besar PandaGPT: satu model menyatukan enam modaliti. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Laman web ini melaporkan pada 27 Jun bahawa Jianying ialah perisian penyuntingan video yang dibangunkan oleh FaceMeng Technology, anak syarikat ByteDance Ia bergantung pada platform Douyin dan pada asasnya menghasilkan kandungan video pendek untuk pengguna platform tersebut Windows , MacOS dan sistem pengendalian lain. Jianying secara rasmi mengumumkan peningkatan sistem keahliannya dan melancarkan SVIP baharu, yang merangkumi pelbagai teknologi hitam AI, seperti terjemahan pintar, penonjolan pintar, pembungkusan pintar, sintesis manusia digital, dsb. Dari segi harga, yuran bulanan untuk keratan SVIP ialah 79 yuan, yuran tahunan ialah 599 yuan (nota di laman web ini: bersamaan dengan 49.9 yuan sebulan), langganan bulanan berterusan ialah 59 yuan sebulan, dan langganan tahunan berterusan ialah 499 yuan setahun (bersamaan dengan 41.6 yuan sebulan) . Di samping itu, pegawai yang dipotong juga menyatakan bahawa untuk meningkatkan pengalaman pengguna, mereka yang telah melanggan VIP asal

Tingkatkan produktiviti, kecekapan dan ketepatan pembangun dengan menggabungkan penjanaan dipertingkatkan semula dan memori semantik ke dalam pembantu pengekodan AI. Diterjemah daripada EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG, pengarang JanakiramMSV. Walaupun pembantu pengaturcaraan AI asas secara semulajadi membantu, mereka sering gagal memberikan cadangan kod yang paling relevan dan betul kerana mereka bergantung pada pemahaman umum bahasa perisian dan corak penulisan perisian yang paling biasa. Kod yang dijana oleh pembantu pengekodan ini sesuai untuk menyelesaikan masalah yang mereka bertanggungjawab untuk menyelesaikannya, tetapi selalunya tidak mematuhi piawaian pengekodan, konvensyen dan gaya pasukan individu. Ini selalunya menghasilkan cadangan yang perlu diubah suai atau diperhalusi agar kod itu diterima ke dalam aplikasi

Untuk mengetahui lebih lanjut tentang AIGC, sila layari: 51CTOAI.x Komuniti https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou berbeza daripada bank soalan tradisional yang boleh dilihat di mana-mana sahaja di Internet memerlukan pemikiran di luar kotak. Model Bahasa Besar (LLM) semakin penting dalam bidang sains data, kecerdasan buatan generatif (GenAI) dan kecerdasan buatan. Algoritma kompleks ini meningkatkan kemahiran manusia dan memacu kecekapan dan inovasi dalam banyak industri, menjadi kunci kepada syarikat untuk kekal berdaya saing. LLM mempunyai pelbagai aplikasi Ia boleh digunakan dalam bidang seperti pemprosesan bahasa semula jadi, penjanaan teks, pengecaman pertuturan dan sistem pengesyoran. Dengan belajar daripada sejumlah besar data, LLM dapat menjana teks

Model Bahasa Besar (LLM) dilatih pada pangkalan data teks yang besar, di mana mereka memperoleh sejumlah besar pengetahuan dunia sebenar. Pengetahuan ini dibenamkan ke dalam parameter mereka dan kemudiannya boleh digunakan apabila diperlukan. Pengetahuan tentang model ini "diperbaharui" pada akhir latihan. Pada akhir pra-latihan, model sebenarnya berhenti belajar. Selaraskan atau perhalusi model untuk mempelajari cara memanfaatkan pengetahuan ini dan bertindak balas dengan lebih semula jadi kepada soalan pengguna. Tetapi kadangkala pengetahuan model tidak mencukupi, dan walaupun model boleh mengakses kandungan luaran melalui RAG, ia dianggap berfaedah untuk menyesuaikan model kepada domain baharu melalui penalaan halus. Penalaan halus ini dilakukan menggunakan input daripada anotasi manusia atau ciptaan LLM lain, di mana model menemui pengetahuan dunia sebenar tambahan dan menyepadukannya

Editor |ScienceAI Question Answering (QA) set data memainkan peranan penting dalam mempromosikan penyelidikan pemprosesan bahasa semula jadi (NLP). Set data QA berkualiti tinggi bukan sahaja boleh digunakan untuk memperhalusi model, tetapi juga menilai dengan berkesan keupayaan model bahasa besar (LLM), terutamanya keupayaan untuk memahami dan menaakul tentang pengetahuan saintifik. Walaupun pada masa ini terdapat banyak set data QA saintifik yang meliputi bidang perubatan, kimia, biologi dan bidang lain, set data ini masih mempunyai beberapa kekurangan. Pertama, borang data adalah agak mudah, kebanyakannya adalah soalan aneka pilihan. Ia mudah dinilai, tetapi mengehadkan julat pemilihan jawapan model dan tidak dapat menguji sepenuhnya keupayaan model untuk menjawab soalan saintifik. Sebaliknya, Soal Jawab terbuka

Editor |. KX Dalam bidang penyelidikan dan pembangunan ubat, meramalkan pertalian pengikatan protein dan ligan dengan tepat dan berkesan adalah penting untuk pemeriksaan dan pengoptimuman ubat. Walau bagaimanapun, kajian semasa tidak mengambil kira peranan penting maklumat permukaan molekul dalam interaksi protein-ligan. Berdasarkan ini, penyelidik dari Universiti Xiamen mencadangkan rangka kerja pengekstrakan ciri berbilang mod (MFE) novel, yang buat pertama kalinya menggabungkan maklumat mengenai permukaan protein, struktur dan jujukan 3D, dan menggunakan mekanisme perhatian silang untuk membandingkan ciri modaliti yang berbeza penjajaran. Keputusan eksperimen menunjukkan bahawa kaedah ini mencapai prestasi terkini dalam meramalkan pertalian mengikat protein-ligan. Tambahan pula, kajian ablasi menunjukkan keberkesanan dan keperluan maklumat permukaan protein dan penjajaran ciri multimodal dalam rangka kerja ini. Penyelidikan berkaitan bermula dengan "S

Pembelajaran mesin ialah cabang penting kecerdasan buatan yang memberikan komputer keupayaan untuk belajar daripada data dan meningkatkan keupayaan mereka tanpa diprogramkan secara eksplisit. Pembelajaran mesin mempunyai pelbagai aplikasi dalam pelbagai bidang, daripada pengecaman imej dan pemprosesan bahasa semula jadi kepada sistem pengesyoran dan pengesanan penipuan, dan ia mengubah cara hidup kita. Terdapat banyak kaedah dan teori yang berbeza dalam bidang pembelajaran mesin, antaranya lima kaedah yang paling berpengaruh dipanggil "Lima Sekolah Pembelajaran Mesin". Lima sekolah utama ialah sekolah simbolik, sekolah sambungan, sekolah evolusi, sekolah Bayesian dan sekolah analogi. 1. Simbolisme, juga dikenali sebagai simbolisme, menekankan penggunaan simbol untuk penaakulan logik dan ekspresi pengetahuan. Aliran pemikiran ini percaya bahawa pembelajaran adalah proses penolakan terbalik, melalui sedia ada

Dalam dunia pembangunan bahagian hadapan, VSCode telah menjadi alat pilihan untuk banyak pembangun dengan fungsi yang berkuasa dan ekosistem pemalam yang kaya. Dalam beberapa tahun kebelakangan ini, dengan perkembangan pesat teknologi kecerdasan buatan, pembantu kod AI pada VSCode telah muncul, meningkatkan kecekapan pengekodan pembangun. Pembantu kod AI pada VSCode telah muncul seperti cendawan selepas hujan, meningkatkan kecekapan pengekodan pembangun. Ia menggunakan teknologi kecerdasan buatan untuk menganalisis kod secara bijak dan menyediakan penyiapan kod yang tepat, pembetulan ralat automatik, semakan tatabahasa dan fungsi lain, yang mengurangkan kesilapan pembangun dan kerja manual yang membosankan semasa proses pengekodan. Hari ini, saya akan mengesyorkan 12 pembantu kod AI pembangunan bahagian hadapan VSCode untuk membantu anda dalam perjalanan pengaturcaraan anda.
