Rumah Peranti teknologi AI BLIP-2 dan InstructBLIP berada dalam tiga teratas! Dua belas model utama, enam belas senarai, penilaian komprehensif 'model bahasa besar pelbagai mod'

BLIP-2 dan InstructBLIP berada dalam tiga teratas! Dua belas model utama, enam belas senarai, penilaian komprehensif 'model bahasa besar pelbagai mod'

Jul 13, 2023 pm 02:33 PM
data Model

Model Bahasa Besar Berbilang Modal (MLLM) bergantung pada simpanan pengetahuan LLM yang kaya dan keupayaan penaakulan serta generalisasi yang berkuasa untuk menyelesaikan masalah berbilang modal telah muncul, seperti Lihat gambar dan tulis serta lihat gambar dan tulis kod.

Tetapi sukar untuk mencerminkan sepenuhnya prestasi MLLM berdasarkan contoh ini sahaja, dan masih terdapat kekurangan penilaian komprehensif MLLM.

Untuk tujuan ini, Tencent Youtu Lab dan Universiti Xiamen menjalankan penilaian kuantitatif komprehensif terhadap 12 model MLLM sumber terbuka sedia ada buat kali pertama pada penanda aras penilaian MM yang baru dibina dan menerbitkan 16 kedudukan, termasuk kedua-dua persepsi dan senarai keseluruhan dan 14 sub-senarai:

BLIP-2 dan InstructBLIP berada dalam tiga teratas! Dua belas model utama, enam belas senarai, penilaian komprehensif model bahasa besar pelbagai mod

Pautan kertas: https://arxiv.org/pdf/2306.13394.pdf

Pautan projek: https://github.com/wesomeradyFU/Amodal Model/pokok/Penilaian-Bahasa Besar

Kaedah penilaian kuantitatif MLLM sedia ada terbahagi terutamanya kepada tiga kategori, tetapi kesemuanya mempunyai had tertentu yang menyukarkan untuk mencerminkan prestasi mereka sepenuhnya.

Kaedah kategori pertama dinilai pada set data awam tradisional, seperti set data Caption Imej dan Visual Question Answering (VQA).

Tetapi di satu pihak, set data tradisional ini mungkin tidak dapat mencerminkan keupayaan baharu yang muncul daripada MLLM Sebaliknya, memandangkan set latihan dalam era model besar tidak lagi bersatu, sukar untuk menjamin bahawa set data penilaian ini tidak dilatih oleh MLLM lain.

Cara kedua ialah mengumpul data baharu untuk penilaian terbuka, tetapi data ini sama ada tidak awam [1] atau bilangannya terlalu kecil (hanya 50 gambar) [2].

Kaedah ketiga memfokuskan pada aspek khusus MLLM, seperti halusinasi objek [3] atau keteguhan lawan [4], dan tidak boleh dinilai sepenuhnya.

Ada keperluan mendesak untuk penanda aras penilaian yang komprehensif untuk menyamai perkembangan pesat MLLM. Penyelidik percaya bahawa penanda aras penilaian komprehensif sejagat harus mempunyai ciri-ciri berikut:

(1) Ia harus meliputi sebanyak mungkin skop, termasuk persepsi dan kebolehan kognitif. Yang pertama merujuk kepada mengenal pasti objek, termasuk kewujudan, kuantiti, lokasi dan warnanya. Yang terakhir merujuk kepada penyepaduan maklumat deria dan pengetahuan dalam LLM untuk melakukan penaakulan yang lebih kompleks. Yang pertama adalah asas kepada yang terakhir.

(2) Data atau anotasi hendaklah mengelak daripada menggunakan set data awam sedia ada sebanyak mungkin untuk mengurangkan risiko kebocoran data.

(3) Arahan hendaklah sesingkat mungkin dan konsisten dengan tabiat kognitif manusia. Reka bentuk arahan yang berbeza mungkin sangat mempengaruhi output model, tetapi semua model dinilai di bawah arahan bersatu dan ringkas untuk memastikan keadilan. Model MLLM yang baik harus mempunyai kebolehan untuk membuat generalisasi kepada arahan yang begitu ringkas untuk mengelakkan daripada terjerumus ke dalam kejuruteraan segera.

(4) Output MLLM di bawah arahan ringkas ini hendaklah intuitif dan mudah untuk statistik kuantitatif. Jawapan terbuka MLLM menimbulkan cabaran besar kepada statistik kuantitatif. Kaedah sedia ada cenderung menggunakan GPT atau pemarkahan manual, tetapi mungkin menghadapi masalah ketidaktepatan dan subjektiviti.

BLIP-2 dan InstructBLIP berada dalam tiga teratas! Dua belas model utama, enam belas senarai, penilaian komprehensif model bahasa besar pelbagai mod

Rajah 1. Contoh penanda aras penilaian MME. Setiap gambar sepadan dengan dua soalan, dan jawapannya masing-masing Ya[Y] dan Tidak[N]. Soalan tambah "Sila jawab ya atau tidak" bersama-sama membentuk arahan.

Berdasarkan sebab di atas, MME penanda aras penilaian MLLM baharu telah dibina, yang mempunyai empat ciri di atas pada masa yang sama:

1 MME menilai persepsi dan kebolehan kognitif secara serentak. Selain OCR, keupayaan penderiaan termasuk pengecaman sasaran berbutir kasar dan halus. Yang pertama mengenal pasti kehadiran, kuantiti, lokasi dan warna objek. Yang terakhir ini mengenal pasti poster filem, selebriti, adegan, mercu tanda dan karya seni. Kebolehan kognitif termasuk penaakulan akal, pengiraan berangka, terjemahan teks dan penaakulan kod. Jumlah bilangan subtugas mencapai 14, seperti yang ditunjukkan dalam Rajah 1.

2. Semua pasangan arahan-jawapan dalam MME dibina secara manual. Untuk beberapa set data yang tersedia secara umum yang digunakan, hanya imej mereka digunakan tanpa bergantung pada anotasi asalnya. Pada masa yang sama, penyelidik juga cuba sedaya upaya untuk mengumpul data melalui fotografi manual dan penjanaan imej.

3. Arahan MME direka bentuk sependek yang mungkin untuk mengelakkan kesan Kejuruteraan Prompt pada output model. Para penyelidik mengulangi bahawa MLLM yang baik harus digeneralisasikan kepada arahan yang ringkas dan kerap digunakan, yang adil kepada semua model. Arahan untuk setiap subtugas ditunjukkan dalam Rajah 1.

4 Terima kasih kepada reka bentuk arahan "Sila jawab ya atau tidak", statistik kuantitatif boleh dilakukan dengan mudah berdasarkan output "Ya" atau "Tidak" oleh model ini boleh memastikan ketepatan dan objektiviti pada masa yang sama masa. Perlu diingat bahawa penyelidik juga telah mencuba untuk mereka bentuk arahan untuk soalan aneka pilihan, tetapi mendapati bahawa MLLM semasa masih sukar untuk mengikuti arahan yang lebih kompleks itu.

Penyelidik menilai sejumlah 12 model MLLM lanjutan, termasuk BLIP-2 [5], LLaVA [6], MiniGPT-4 [7], mPLUG-Owl [2], LLaMA-Adapter-v2 [8] ] , Otter [9], Multimodal-GPT [10], InstructBLIP [11], VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] dan LaVIN [15].

Antaranya, terdapat tiga penunjuk statistik, termasuk Ketepatan, Ketepatan+ dan Skor. Untuk setiap tugasan, Ketepatan adalah berdasarkan statistik soalan, Ketepatan+ adalah berdasarkan statistik gambar (kedua-dua soalan yang sepadan dengan gambar perlu dijawab dengan betul), dan Skor ialah jumlah Ketepatan dan Ketepatan+.

Jumlah skor persepsi ialah jumlah markah 10 sub-tugas persepsi, dan jumlah skor kognisi ialah jumlah markah 4 tugasan kognitif. Lihat pautan projek untuk butiran.

Perbandingan ujian 12 model pada 14 subtugasan ditunjukkan dalam Rajah 2:

BLIP-2 dan InstructBLIP berada dalam tiga teratas! Dua belas model utama, enam belas senarai, penilaian komprehensif model bahasa besar pelbagai mod

Rajah 2. Perbandingan 12 model pada 14 subtugas. Markah penuh untuk setiap sub-tugas ialah 200 mata.

Sebanyak 16 senarai, termasuk senarai keseluruhan kategori persepsi dan kognisi serta senarai 14 sub-tugas juga telah dikeluarkan. Kedua-dua senarai keseluruhan ditunjukkan dalam Rajah 3 dan 4. Perlu diingat bahawa BLIP-2 dan InstructBLIP kekal dalam tiga teratas dalam kedua-dua senarai.

BLIP-2 dan InstructBLIP berada dalam tiga teratas! Dua belas model utama, enam belas senarai, penilaian komprehensif model bahasa besar pelbagai modGambar

Rajah 3. Jumlah senarai tugasan persepsi

BLIP-2 dan InstructBLIP berada dalam tiga teratas! Dua belas model utama, enam belas senarai, penilaian komprehensif model bahasa besar pelbagai mod

Rajah 4. Jumlah tugasan

BLIP-2 dan InstructBLIP berada dalam tiga teratas! Dua belas model utama, enam belas senarai, penilaian komprehensif model bahasa besar pelbagai modRajah 5. Semua senarai

Selain itu, penyelidik juga merumuskan beberapa masalah biasa yang didedahkan oleh model MLLM dalam eksperimen, seperti yang ditunjukkan dalam Rajah 6, dengan harapan dapat memberikan panduan untuk pengoptimuman model seterusnya.

Gambar

BLIP-2 dan InstructBLIP berada dalam tiga teratas! Dua belas model utama, enam belas senarai, penilaian komprehensif model bahasa besar pelbagai modRajah 6. Masalah biasa yang didedahkan oleh MLLM. [Y]/[N] bermaksud jawapan sebenar ialah Ya/Tidak. [R] ialah jawapan yang dijana oleh MLLM.

Masalah pertama adalah tidak mengikut arahan.

Walaupun reka bentuk arahan yang sangat ringkas telah diguna pakai, masih ada MLLM yang bebas menjawab soalan daripada mengikuti arahan.

Seperti yang ditunjukkan dalam baris pertama Rajah 6, arahan telah menyatakan "Sila jawab ya atau tidak", tetapi MLLM hanya memberikan jawapan deklaratif. Jika "Ya" atau "Tidak" tidak muncul pada permulaan jawapan, jawapan itu dinilai sebagai salah. MLLM yang baik, terutamanya selepas memperhalusi arahan, seharusnya boleh membuat generalisasi kepada arahan mudah tersebut.

Masalah kedua ialah kekurangan persepsi.

Seperti yang ditunjukkan pada baris kedua dalam Rajah 6, MLLM tersilap mengenal pasti bilangan pisang dalam gambar pertama dan nombor dalam gambar kedua, mengakibatkan jawapan yang salah. Para penyelidik juga menyedari bahawa prestasi persepsi mudah dipengaruhi oleh perubahan dalam arahan, kerana dua arahan untuk gambar yang sama yang berbeza dengan hanya satu perkataan menghasilkan hasil persepsi yang berbeza sama sekali.

Masalah ketiga ialah kekurangan keupayaan penaakulan. .

Begitu juga, dalam gambar kedua, MLLM telah mengira hasil aritmetik yang betul, tetapi akhirnya juga memberikan jawapan yang salah. Menambah gesaan rantaian pemikiran, seperti "Mari kita fikir langkah demi langkah" mungkin membawa hasil yang lebih baik. Mengharapkan penyelidikan yang lebih mendalam dalam bidang ini.

Soalan keempat ialah penglihatan objek mengikut arahan. Seperti yang ditunjukkan dalam baris keempat Rajah 6, apabila arahan mengandungi objek yang tidak wujud dalam gambar, MLLM akan membayangkan bahawa objek itu wujud dan akhirnya memberikan jawapan "Ya".

Pendekatan sentiasa menjawab "Ya" ini menghasilkan Ketepatan hampir 50% dan Ketepatan+ hampir kepada 0. Ini menunjukkan kepentingan menyekat halusinasi sasaran dan juga memerlukan pemikiran lanjut tentang kebolehpercayaan jawapan yang dihasilkan oleh MLLM.

Atas ialah kandungan terperinci BLIP-2 dan InstructBLIP berada dalam tiga teratas! Dua belas model utama, enam belas senarai, penilaian komprehensif 'model bahasa besar pelbagai mod'. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat! Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat! Apr 03, 2024 pm 12:04 PM

0. Apakah fungsi artikel ini? Kami mencadangkan DepthFM: model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens. Mari kita baca karya ini bersama-sama ~ 1. Tajuk maklumat kertas: DepthFM: FastMonocularDepthEstimationwithFlowMatching Pengarang: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo May 07, 2024 pm 04:13 PM

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka Jun 01, 2024 pm 10:03 PM

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Apr 09, 2024 am 11:52 AM

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Kelajuan Internet Data Selular Perlahan pada iPhone: Pembetulan Kelajuan Internet Data Selular Perlahan pada iPhone: Pembetulan May 03, 2024 pm 09:01 PM

Menghadapi ketinggalan, sambungan data mudah alih perlahan pada iPhone? Biasanya, kekuatan internet selular pada telefon anda bergantung pada beberapa faktor seperti rantau, jenis rangkaian selular, jenis perayauan, dsb. Terdapat beberapa perkara yang boleh anda lakukan untuk mendapatkan sambungan Internet selular yang lebih pantas dan boleh dipercayai. Betulkan 1 – Paksa Mulakan Semula iPhone Kadangkala, paksa memulakan semula peranti anda hanya menetapkan semula banyak perkara, termasuk sambungan selular. Langkah 1 – Hanya tekan kekunci naikkan kelantangan sekali dan lepaskan. Seterusnya, tekan kekunci Turun Kelantangan dan lepaskannya semula. Langkah 2 - Bahagian seterusnya proses adalah untuk menahan butang di sebelah kanan. Biarkan iPhone selesai dimulakan semula. Dayakan data selular dan semak kelajuan rangkaian. Semak semula Betulkan 2 – Tukar mod data Walaupun 5G menawarkan kelajuan rangkaian yang lebih baik, ia berfungsi lebih baik apabila isyarat lemah

Daya hidup kecerdasan super membangkitkan! Tetapi dengan kedatangan AI yang mengemas kini sendiri, ibu tidak perlu lagi bimbang tentang kesesakan data Daya hidup kecerdasan super membangkitkan! Tetapi dengan kedatangan AI yang mengemas kini sendiri, ibu tidak perlu lagi bimbang tentang kesesakan data Apr 29, 2024 pm 06:55 PM

Saya menangis hingga mati. Dunia sedang membina model besar. Data di Internet tidak mencukupi. Model latihan kelihatan seperti "The Hunger Games", dan penyelidik AI di seluruh dunia bimbang tentang cara memberi makan data ini kepada pemakan yang rakus. Masalah ini amat ketara dalam tugas berbilang modal. Pada masa mereka mengalami kerugian, pasukan pemula dari Jabatan Universiti Renmin China menggunakan model baharu mereka sendiri untuk menjadi yang pertama di China untuk menjadikan "suapan data yang dijana model itu sendiri" menjadi kenyataan. Selain itu, ia merupakan pendekatan serampang dua mata dari segi pemahaman dan sisi penjanaan Kedua-dua pihak boleh menjana data baharu berbilang modal yang berkualiti tinggi dan memberikan maklum balas data kepada model itu sendiri. Apakah model? Awaker 1.0, model berbilang modal besar yang baru sahaja muncul di Forum Zhongguancun. Siapa pasukan itu? Enjin Sophon. Diasaskan oleh Gao Yizhao, pelajar kedoktoran di Sekolah Kecerdasan Buatan Hillhouse Universiti Renmin.

Tentera Udara A.S. mempamerkan jet pejuang AI pertamanya dengan profil tinggi! Menteri secara peribadi menjalankan pandu uji tanpa campur tangan semasa keseluruhan proses, dan 100,000 baris kod telah diuji selama 21 kali. Tentera Udara A.S. mempamerkan jet pejuang AI pertamanya dengan profil tinggi! Menteri secara peribadi menjalankan pandu uji tanpa campur tangan semasa keseluruhan proses, dan 100,000 baris kod telah diuji selama 21 kali. May 07, 2024 pm 05:00 PM

Baru-baru ini, bulatan tentera telah terharu dengan berita: jet pejuang tentera AS kini boleh melengkapkan pertempuran udara automatik sepenuhnya menggunakan AI. Ya, baru-baru ini, jet pejuang AI tentera AS telah didedahkan buat pertama kali, mendedahkan misterinya. Nama penuh pesawat pejuang ini ialah Variable Stability Simulator Test Aircraft (VISTA). Ia diterbangkan sendiri oleh Setiausaha Tentera Udara AS untuk mensimulasikan pertempuran udara satu lawan satu. Pada 2 Mei, Setiausaha Tentera Udara A.S. Frank Kendall berlepas menggunakan X-62AVISTA di Pangkalan Tentera Udara Edwards Ambil perhatian bahawa semasa penerbangan selama satu jam, semua tindakan penerbangan telah diselesaikan secara autonomi oleh AI! Kendall berkata - "Sejak beberapa dekad yang lalu, kami telah memikirkan tentang potensi tanpa had pertempuran udara-ke-udara autonomi, tetapi ia sentiasa kelihatan di luar jangkauan." Namun kini,

See all articles