Peranti teknologi
AI
Menambah keupayaan audio-visual yang komprehensif pada model bahasa yang besar, DAMO Academy membuka sumber Video-LLaMA
Menambah keupayaan audio-visual yang komprehensif pada model bahasa yang besar, DAMO Academy membuka sumber Video-LLaMA
Video memainkan peranan yang semakin penting dalam media sosial dan budaya Internet hari ini, Douyin, Kuaishou, Bilibili, dll. telah menjadi platform popular untuk ratusan juta pengguna. Pengguna berkongsi detik hidup mereka, karya kreatif, detik menarik dan kandungan lain di sekitar video untuk berinteraksi dan berkomunikasi dengan orang lain.
Baru-baru ini, model bahasa yang besar telah menunjukkan keupayaan yang mengagumkan. Bolehkah kita melengkapkan model besar dengan "mata" dan "telinga" supaya mereka boleh memahami video dan berinteraksi dengan pengguna?
Bermula daripada masalah ini, penyelidik dari DAMO Academy mencadangkan Video-LLaMA, model besar dengan keupayaan audio-visual yang komprehensif. Video-LLaMA boleh melihat dan memahami isyarat video dan audio dalam video, dan boleh memahami arahan input pengguna untuk menyelesaikan satu siri tugasan kompleks berdasarkan audio dan video, seperti penerangan audio/video, penulisan, soal jawab, dsb. Pada masa ini, kertas, kod dan demo interaktif semuanya terbuka. Di samping itu, pada halaman utama projek Video-LLaMA, pasukan penyelidik juga menyediakan model versi Cina untuk menjadikan pengalaman pengguna Cina lebih lancar.
- Pautan kertas: https://arxiv.org/abs/2306.02858
- Alamat kod: https://github.com/DAMO-NLP-SG/Video-LLaMA
- Alamat demo:
- Modelscope: https://modelscope.cn/studios /damo/video-llama/summary
- Peluk muka: https://huggingface.co/spaces/DAMO-NLP-SG/Video-LLaMA
- Contoh alamat fail input:
- https://www.php cn /link/0fbce6c74ff376d18cb352e7fdc6273b
Reka bentuk model
Video-LLaMA mengguna pakai prinsip reka bentuk modular dan visual untuk menggabungkan aspek reka bentuk modular dan visual video. Maklumat modaliti audio dipetakan ke dalam ruang input model bahasa yang besar untuk mencapai keupayaan untuk mengikuti arahan silang mod. Tidak seperti penyelidikan model besar sebelumnya (MiNIGPT4, LLaVA) yang memfokuskan pada pemahaman imej statik, Video-LLaMA menghadapi dua cabaran dalam pemahaman video: menangkap perubahan pemandangan dinamik dalam penglihatan dan menyepadukan isyarat audio-visual.
Untuk menangkap perubahan pemandangan dinamik dalam video, Video-LLaMA memperkenalkan cabang bahasa visual boleh pasang. Cawangan ini mula-mula menggunakan pengekod imej terlatih dalam BLIP-2 untuk mendapatkan ciri individu bagi setiap bingkai imej, dan kemudian menggabungkannya dengan pembenaman kedudukan bingkai yang sepadan Semua ciri imej dihantar ke Video Q-Former dan Video Q -Bekas akan Mengagregatkan perwakilan imej peringkat bingkai dan menjana perwakilan video sintetik panjang tetap. Akhir sekali, lapisan linear digunakan untuk menjajarkan perwakilan video ke ruang benam model bahasa besar.
Bagi isyarat bunyi dalam video, Video-LLaMA menggunakan cawangan bahasa audio untuk pemprosesan. Pertama, berbilang klip audio dua saat diambil secara seragam daripada video asal dan setiap klip ditukar kepada spektrogram mel 128 dimensi. Kemudian, ImageBind yang berkuasa digunakan sebagai pengekod audio untuk mengekstrak ciri setiap klip bunyi secara individu. Selepas menambahkan pembenaman kedudukan yang boleh dipelajari, Audio Q-Former mengagregatkan ciri segmen secara keseluruhan dan menjana ciri audio panjang tetap. Sama seperti cabang bahasa visual, lapisan linear akhirnya digunakan untuk menjajarkan perwakilan audio ke ruang benam model bahasa besar.
Untuk mengurangkan kos latihan, Video-LLaMA membekukan pengekod imej/audio yang telah dilatih dan hanya mengemas kini parameter berikut dalam cabang visual dan audio: Video/Audio Q-Former , lapisan pengekodan kedudukan dan lapisan linear (ditunjukkan dalam Rajah 1).
Untuk mengetahui perhubungan penjajaran antara penglihatan dan teks, pengarang terlebih dahulu melatih cabang penglihatan menggunakan set data teks video berskala besar (WebVid-2M) dan set data teks imej (CC-595K). Selepas itu, pengarang menggunakan set data arahan imej daripada MiniGPT-4, LLaVA dan set data arahan video daripada Video-Chat untuk diperhalusi bagi mencapai keupayaan mengikut arahan silang mod yang lebih baik.
Bagi pembelajaran perhubungan penjajaran teks audio, disebabkan kekurangan data teks audio berkualiti tinggi berskala besar, pengarang menggunakan strategi penyelesaian untuk mencapai matlamat ini. Pertama, matlamat parameter yang boleh dipelajari dalam cabang audio-linguistik boleh difahami sebagai menjajarkan output pengekod audio dengan ruang benam LLM. Pengekod audio ImageBind mempunyai keupayaan penjajaran berbilang modal yang sangat kuat, yang boleh menyelaraskan benam modaliti yang berbeza ke dalam ruang bersama. Oleh itu, pengarang menggunakan data teks visual untuk melatih cawangan bahasa audio, menjajarkan ruang pembenaman biasa ImageBind ke ruang pembenaman teks LLM, dengan itu mencapai modaliti audio kepada penjajaran ruang pembenaman teks LLM. Dengan cara yang bijak ini, Video-LLaMA dapat menunjukkan keupayaan untuk memahami audio semasa inferens, walaupun ia tidak pernah dilatih mengenai data audio.
Contoh demonstrasi
Pengarang menunjukkan beberapa contoh Video-LLaMA video/audio/dialog berasaskan imej.
(1) Dua contoh berikut menunjukkan keupayaan persepsi audio-visual yang komprehensif Video-LLaMA Perbualan dalam contoh berkisar pada video audio. Dalam Contoh 2, hanya pemain yang ditunjukkan pada skrin, tetapi bunyi adalah sorakan dan tepukan penonton Jika model hanya boleh menerima isyarat visual, ia tidak akan dapat menyimpulkan respons positif penonton tiada bunyi alat muzik dalam audio Tetapi terdapat saksofon dalam gambar Jika model hanya boleh menerima isyarat pendengaran, ia tidak akan tahu bahawa pemain memainkan saksofon.
(2) Video-LLaMA juga mempunyai keupayaan pemahaman persepsi yang kuat untuk imej statik, dan boleh melengkapkan penerangan imej, soalan dan jawab Tunggu tugasan.
(3) Anehnya, Video-LLaMA boleh berjaya mengenal pasti tanda tempat dan orang terkenal, serta boleh Melakukan Soal Jawab yang waras. Sebagai contoh, VIdeo-LLaMA di bawah berjaya mengenal pasti Rumah Putih dan memperkenalkan situasi Rumah Putih. Contoh lain ialah memasukkan foto pegun Long Ma dan Jon Snow (watak dalam filem klasik dan siri televisyen "Game of Thrones" VIdeo-LLaMA bukan sahaja berjaya mengenal pasti mereka, tetapi juga memberitahu mereka tentang hubungan mereka yang sentiasa wujud disunting dan dikacau.
(4) Peristiwa dinamik khusus video , Video-llama juga boleh menangkap dengan baik, seperti pergerakan catcall dan arah bot.
Ringkasan
Pada masa ini, pemahaman audio dan video masih sangat kompleks dan tiada penyelesaian yang matang namun Walaupun Video-LLaMA telah menunjukkan keupayaan yang mengagumkan, penulis juga menyebut bahawa ia mempunyai beberapa batasan.
(1) Keupayaan persepsi terhad: Keupayaan visual dan pendengaran Video-LLaMA masih agak asas, dan masih sukar untuk membezakan maklumat visual dan bunyi yang kompleks. Sebahagian daripada sebabnya ialah kualiti dan saiz set data tidak cukup baik. Kumpulan penyelidikan ini sedang berusaha keras untuk membina set data penjajaran teks audio-video-teks berkualiti tinggi untuk meningkatkan keupayaan persepsi model.
(2) Kesukaran memproses video panjang: Video panjang (seperti filem dan rancangan TV) mengandungi sejumlah besar maklumat, yang memerlukan keupayaan penaakulan yang tinggi dan sumber pengkomputeran untuk model.
(3) Masalah halusinasi yang wujud dalam model bahasa masih wujud dalam Video-LLaMA.
Secara amnya, Video-LLaMA, sebagai model besar dengan keupayaan audio-visual yang komprehensif, telah mencapai hasil yang mengagumkan dalam bidang pemahaman audio dan video. Apabila penyelidik terus bekerja keras, cabaran di atas akan diatasi satu demi satu, menjadikan model pemahaman audio dan video mempunyai nilai praktikal yang luas.
Atas ialah kandungan terperinci Menambah keupayaan audio-visual yang komprehensif pada model bahasa yang besar, DAMO Academy membuka sumber Video-LLaMA. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Alat AI Hot
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Undress AI Tool
Gambar buka pakaian secara percuma
Clothoff.io
Penyingkiran pakaian AI
AI Hentai Generator
Menjana ai hentai secara percuma.
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Topik panas
Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo
May 07, 2024 pm 04:13 PM
Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am
KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka
Jun 01, 2024 pm 10:03 PM
Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah
Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh
Apr 09, 2024 am 11:52 AM
AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.
Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU
Apr 01, 2024 pm 07:46 PM
Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana
Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini!
May 06, 2024 pm 04:13 PM
Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh
FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye
Apr 26, 2024 am 11:37 AM
Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi
Satu kad menjalankan Llama 70B lebih pantas daripada dua kad, Microsoft hanya meletakkan FP6 ke dalam A100 |
Apr 29, 2024 pm 04:55 PM
FP8 dan ketepatan pengiraan titik terapung yang lebih rendah bukan lagi "paten" H100! Lao Huang mahu semua orang menggunakan INT8/INT4, dan pasukan Microsoft DeepSpeed memaksa diri mereka menjalankan FP6 pada A100 tanpa sokongan rasmi daripada Nvidia. Keputusan ujian menunjukkan bahawa kaedah baharu TC-FPx FP6 kuantisasi pada A100 adalah hampir atau kadangkala lebih pantas daripada INT4, dan mempunyai ketepatan yang lebih tinggi daripada yang terakhir. Selain itu, terdapat juga sokongan model besar hujung ke hujung, yang telah bersumberkan terbuka dan disepadukan ke dalam rangka kerja inferens pembelajaran mendalam seperti DeepSpeed. Keputusan ini juga mempunyai kesan serta-merta pada mempercepatkan model besar - di bawah rangka kerja ini, menggunakan satu kad untuk menjalankan Llama, daya pemprosesan adalah 2.65 kali lebih tinggi daripada dua kad. satu
