NUS dan Byte bekerjasama merentas industri untuk mencapai latihan 72 kali lebih pantas melalui pengoptimuman model, dan memenangi Kertas Cemerlang AAAI2023.

Baru-baru ini, persidangan kecerdasan buatan antarabangsa teratas AAI 2023 mengumumkan keputusan pemilihan. Kertas teknikal CowClip yang diusahakan oleh Universiti Nasional Singapura (NUS) dan Pasukan Pembelajaran Mesin Bytedance (AML) telah disenarai pendek untuk Distinguished Papers. CowClip ialah strategi pengoptimuman latihan model yang boleh meningkatkan kelajuan latihan model sebanyak 72 kali pada satu GPU sambil memastikan ketepatan model Kod yang berkaitan kini adalah sumber terbuka. ​

Alamat kertas: https://arxiv.org/abs/ 2204.06240​

Alamat sumber terbuka: https://github.com/bytedance/LargeBatchCTR​

AAAI ialah persidangan tahunan yang dihoskan oleh Persatuan Antarabangsa untuk Kemajuan Kecerdasan Buatan Ia adalah salah satu persidangan akademik teratas tertua dalam bidang kecerdasan buatan. AAAAI 2023 menerima sejumlah 8777 penyerahan kertas, di mana 1721 kertas telah diterima, dengan kadar penerimaan 19.6%. Jabatan Sains Komputer Universiti Oxford memenangi anugerah tertinggi persidangan itu (Anugerah Kertas Cemerlang), dan kertas kerja kerjasama dari Universiti Peking dan institusi lain memenangi Anugerah Kertas Pelajar Cemerlang. Selain itu, persidangan itu juga memilih 12 Kertas Terkenal, meliputi banyak hala tuju seperti pengoptimuman strategi latihan model, pengoptimuman rangkaian saraf graf, dan carian seni bina saraf. ​

Cara meningkatkan kelajuan latihan model ialah topik yang kekal dalam bidang pembelajaran mesin. Sejak Google mencadangkan BERT model besar pra-latihan pertama pada 2018, latihan model besar secara beransur-ansur menjadi trend dan trend dalam bidang pembelajaran mendalam. Walau bagaimanapun, saiz model yang semakin meningkat juga bermakna latihan yang lengkap akan mengambil banyak masa dan kos pengiraan. Menurut maklumat yang dikeluarkan oleh Google sebelum ini, apabila melatih varian 11 bilion parameter T5 (model pra-latihan yang dilancarkan oleh Google pada 2019), kos operasi tunggal melebihi AS$1.3 juta. ​

Strategi pengoptimuman latihan model CowClip yang dipilih sebagai kertas cemerlang boleh mencapai prestasi GPU yang lebih mencukupi dengan memastikan ketepatan model saiz kelompok yang lebih besar untuk dicapai tujuan meningkatkan kelajuan latihan. Eksperimen menunjukkan bahawa model yang dilatih menggunakan CowClip bukan sahaja mempunyai ketepatan yang lebih tinggi daripada kaedah lain, tetapi juga meningkatkan kelajuan latihan dengan sangat baik Melatih model Deep FM pada satu GPU boleh memampatkan masa latihan dari 12 jam kepada 10 minit berdasarkan data bagi. set data awam Kelajuan latihan model meningkat sebanyak 72 kali pada satu masa. ​

Dengan pengkomputeran yang cekap dan analisis yang lebih tepat serta keupayaan membuat keputusan, teknologi kecerdasan buatan semakin digunakan dalam penjagaan perubatan, kewangan, pembuatan dan pendidikan dan e-dagang dan bidang lain, dan ketepatan dan kecekapan latihan model akan terus menjadi faktor utama yang mempengaruhi pembangunan industri kecerdasan buatan. ​

Menurut laporan, Pasukan Pembelajaran Mesin ByteDance (AML) telah mempraktikkan teknologi teras CowClip dalam beberapa perniagaan syarikat. Pasukan ini menyediakan perkhidmatan pertengahan pembelajaran mesin untuk syarikat, termasuk menyediakan sistem latihan berskala besar dan sistem inferens untuk senario perniagaan seperti pengesyoran produk, pengiklanan dan carian di Toutiao, Douyin, Xigua Video, dsb., dan menyediakan ringkas dan perkhidmatan ringkas kepada pelanggan perusahaan melalui Volcano Engine yang mudah digunakan, stabil dan boleh dipercayai. ​

Atas ialah kandungan terperinci NUS dan Byte bekerjasama merentas industri untuk mencapai latihan 72 kali lebih pantas melalui pengoptimuman model, dan memenangi Kertas Cemerlang AAAI2023.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!