Pemenang Anugerah Turing Jack Dongarra: Bagaimana penyepaduan pengkomputeran berprestasi tinggi dan AI akan menumbangkan pengkomputeran saintifik

Dalam tiga dekad yang lalu, pengkomputeran berprestasi tinggi (HPC) telah mencapai kemajuan pesat dan memainkan peranan penting dalam pengkomputeran saintifik dan bidang lain. Pada masa ini, pengkomputeran awan dan pengkomputeran mudah alih secara beransur-ansur menjadi paradigma pengkomputeran arus perdana Pada masa yang sama, kesan gangguan kaedah AI seperti pembelajaran mendalam telah membawa cabaran dan peluang baharu kepada penyepaduan HPC dan AI. Pada Persidangan Pemprosesan Media Sosial Kebangsaan Ke-10 (SMP 2022), pemenang Anugerah Turing Jack Dongarra telah menyelesaikan aplikasi dan perkembangan pengkomputeran berprestasi tinggi yang paling penting dalam beberapa tahun kebelakangan ini.

Jack Dongarra, pakar pengkomputeran berprestasi tinggi, pemenang Anugerah Turing 2021, pengarah Makmal Pengkomputeran Inovatif di Universiti of Tennessee, Amerika Syarikat. Sumbangan perintis beliau kepada algoritma berangka dan perpustakaan telah membolehkan perisian pengkomputeran berprestasi tinggi seiring dengan peningkatan eksponen dalam perkakasan selama lebih daripada empat dekad. Pelbagai pencapaian akademik beliau termasuk Anugerah Sains Pengkomputeran dan Kejuruteraan SIAM/ACM 2019 yang mana beliau telah dianugerahkan dan Anugerah Perintis Pengkomputeran IEEE 2020 untuk kepimpinan dalam perisian matematik berprestasi tinggi. Beliau ialah Felo AAAS, ACM, IEEE, dan SIAM, Felo Asing Royal Society, dan ahli Akademi Kejuruteraan Kebangsaan.

1 Pengkomputeran prestasi tinggi digunakan secara meluas dalam "kutub ketiga" sains

Pada masa ini, kaedah pengkomputeran berprestasi tinggi (HPC) digunakan secara meluas dalam simulasi penyelidikan saintifik, dan simulasi juga dikenali sebagai "kutub ketiga" penyelidikan saintifik. Dari segi sejarah, penyelidikan saintifik dan penyelidikan kejuruteraan biasanya menggunakan paradigma berdasarkan teori dan eksperimen. Walau bagaimanapun, kedua-dua kaedah ini mempunyai banyak batasan yang wujud Sebagai contoh, biasanya sangat sukar untuk membina terowong angin berskala besar, kos ujian enjin pesawat dan perlanggaran burung akan menjadi sangat mahal, dan menunggu untuk melihat perubahan iklim akan menjadi sangat masa. -mengambil dan lambat Eksperimen terhadap dadah dan senjata akan menjadi sangat berbahaya dan sebagainya. Di samping itu, kita kadangkala tidak dapat mengkaji masalah tertentu secara eksperimen, seperti mengkaji pergerakan galaksi dan membangunkan ubat baharu. Oleh itu, penyelidik secara beransur-ansur menggunakan kaedah pengkomputeran saintifik untuk menjalankan simulasi dan mengkaji masalah tersebut. Kaedah ini biasanya berdasarkan undang-undang fizikal yang diketahui dan kaedah pengiraan digital, dan mensimulasikan fenomena fizikal yang sepadan melalui sistem komputer berprestasi tinggi.

2 Kemuncak kuasa pengkomputeran - superkomputer

Orang ramai secara amnya berasaskan cip matang yang dikomersialkan Untuk membina superkomputer biasa, berbilang cip disepadukan pada satu papan, dan setiap cip mempunyai berbilang teras. Pada masa yang sama, unit pemprosesan grafik (GPU) biasanya digunakan pada papan sebagai pemecut untuk meningkatkan kuasa pengkomputeran. Dalam kabinet rak yang sama, papan yang berbeza berkomunikasi melalui pautan berkelajuan tinggi, dan kabinet yang berbeza disambungkan melalui suis Superkomputer yang dibentuk dengan cara ini mungkin perlu menduduki ruang sebesar dua gelanggang tenis.

Superkomputer seperti ini mempunyai keselarian yang sangat tinggi dan biasanya menggunakan memori teragih dan paradigma pengaturcaraan "MPI+Open-MP" . Memindahkan data antara bahagian berlainan sistem HPC adalah sangat mahal berbanding pengiraan titik terapung pada data. Superkomputer sedia ada menyokong pengiraan titik terapung dengan ketepatan yang berbeza termasuk lebar 64, 32, 16 dan 8 bit.

Pada masa ini, superkomputer terpantas boleh memberikan kuasa pengkomputeran tahap Exaflop/s (1018). Ini adalah nilai yang sangat besar Jika semua orang menyelesaikan satu pengiraan pendaraban dan penambahan dalam satu saat, maka semua orang di dunia akan mengambil masa empat tahun untuk menyelesaikan pengiraan yang boleh diselesaikan oleh superkomputer dalam satu saat. Pada masa yang sama, untuk mengekalkan operasi superkomputer sedemikian, berpuluh-puluh juta dolar dalam bil elektrik perlu dibelanjakan setiap tahun.

Daripada perubahan prestasi superkomputer TOP500 dunia dalam tempoh tiga puluh tahun yang lalu, kita boleh mendapati bahawa prestasi superkomputer hampir mengekalkan kadar pertumbuhan eksponen. Menariknya, prestasi MacBook yang digunakan hari ini lebih berkuasa daripada superkomputer tercanggih di dunia pada tahun 1993, yang dibina di Makmal Kebangsaan Los Alamos dan digunakan terutamanya untuk reka bentuk senjata nuklear. Data dari Jun tahun ini menunjukkan bahawa antara 10 superkomputer teratas di dunia, 5 adalah dari Amerika Syarikat, 2 dari China (terletak di Wuxi dan Guangzhou), dan baki 3 adalah dari Finland, Jepun dan Perancis.

3 “Harmoni tetapi Berbeza” HPC & ML/AI

Pengkomputeran HPC dan ML mempunyai ciri yang serupa namun berbeza. HPC adalah intensif pengiraan digital Ia biasanya memasukkan data yang sangat terhad dan mengeluarkan sejumlah besar data selepas bilangan pengiraan digital yang sangat besar. Pemprosesan data berprestasi tinggi (HPDA) dalam medan ML biasanya memerlukan memasukkan sejumlah besar data, tetapi menghasilkan jumlah data yang agak kecil. Ketepatan data yang digunakan oleh kedua-duanya juga sangat berbeza Dalam senario pengkomputeran berprestasi tinggi seperti simulasi saintifik, data titik terapung 64-bit biasanya digunakan, manakala dalam senario pembelajaran mesin, data titik terapung 16-bit digunakan.

​

AI memainkan peranan yang sangat penting dalam pelbagai aspek penyelidikan saintifik Peranan: AI boleh membantu penemuan saintifik dalam bidang yang berbeza, meningkatkan prestasi seni bina pengkomputeran dan mengurus serta memproses sejumlah besar data di tepi. Oleh itu, dalam bidang pengkomputeran saintifik, teknologi seperti pembelajaran mesin digunakan untuk banyak disiplin seperti klimatologi, biologi, farmasi, epidemiologi, sains bahan, kosmologi dan juga fizik bertenaga tinggi untuk menyediakan model yang dipertingkatkan dan kaedah simulasi yang lebih maju. Contohnya, pembelajaran mendalam digunakan untuk membantu pembangunan ubat, meramalkan wabak dan mengklasifikasikan tumor berdasarkan pengimejan perubatan, dsb.

Simulasi penyelidikan saintifik dan pengkomputeran AI boleh digabungkan dengan sangat berkesan kerana kedua-duanya memerlukan model dan data. Biasanya, simulasi menggunakan model (matematik) untuk menjana data, dan analitik (AI) menggunakan data untuk menjana model. Model yang diperoleh menggunakan kaedah analisis boleh digunakan dalam simulasi bersama-sama dengan model lain, data yang dihasilkan oleh simulasi boleh digunakan dalam analisis bersama-sama dengan data dari sumber lain. Ini membentuk kitaran murni promosi bersama.

Selain melengkapi antara satu sama lain dalam bidang aplikasi tertentu, HPC & AI berada dalam kaedah pembangunan asas, perisian dan infrastruktur perisian serta perkakasan AI seni bina. Terdapat begitu banyak sambungan. Pada masa yang sama, kedua-duanya disambungkan dengan lebih meluas Contohnya, AI boleh digunakan untuk membimbing simulasi, melaraskan parameter aplikasi simulasi dengan lebih pantas, menyediakan fungsi kernel pengkomputeran tersuai, dan menggabungkan kandungan HPC dan neuromorphic tradisional, dsb. AI&ML mempunyai pengaruh yang mengganggu, seperti yang sering dikatakan: "AL&ML tidak akan menggantikan saintis, tetapi saintis yang menggunakan alat AI&ML akan menggantikan mereka yang tidak menggunakan alat ini."

4 Melihat masa depan: Sistem HPC akan lebih disesuaikan

Sistem HPC akan datang akan disesuaikan. Pada masa ini, HPC terutamanya mempunyai dua jenis pemproses, CPU dan GPU Pada masa hadapan, lebih banyak unit berbeza akan digunakan, seperti FPGA, ML accelerator, cip ASIC, dll. Lebih banyak pemproses yang menggunakan struktur dan paradigma berbeza akan semakin ditambah kepada sistem pengkomputeran HPC, seperti pemprosesan neuromorfik, pengkomputeran kuantum dan pengkomputeran optik, yang mungkin memainkan peranan yang semakin penting. Apabila membina sistem HPC baharu, orang ramai akan dapat menggunakan modul dan fungsi yang sepadan mengikut keperluan.

5 Ringkasan

Perkakasan HPC sentiasa berkembang, termasuk mesin pengkomputeran skalar, mesin pengkomputeran vektor, sistem teragih, pemecut dan mesin Pengiraan ketepatan campuran dan seterusnya. Tiga perubahan besar sedang berlaku dalam bidang komputer: pengkomputeran berprestasi tinggi, pembelajaran mendalam, dan pengkomputeran tepi dan kecerdasan buatan. Algoritma dan perisian harus terus berkembang dengan perkakasan Seperti yang dinyatakan dalam kertas oleh Leiserson et al., selepas Undang-undang Moore, masih terdapat banyak ruang untuk meningkatkan prestasi muktamad sistem HPC melalui algoritma, perisian dan seni bina perkakasan.

6 Soalan Jawab

Soalan 1: Pada masa ini, industri Kedua-dua kerajaan dan komuniti akademik memberi lebih perhatian kepada latihan model rangkaian saraf yang besar Sebagai contoh, GPT3 mempunyai lebih daripada 170 bilion parameter, yang biasanya memerlukan 100 GPU berprestasi tinggi untuk berlatih selama 1 hingga 3 bulan. Adakah komputer berprestasi tinggi akan digunakan untuk melengkapkan latihan yang berkaitan dalam beberapa hari atau jam pada masa hadapan?

Jawapan 1: GPU menyediakan komputer dengan keupayaan pengiraan berangka yang berkuasa. Contohnya, 98% kuasa pengkomputeran dalam superkomputer datang daripada GPU. Dan memindahkan data antara CPU dan GPU sangat memakan masa. Untuk mengurangkan pergerakan data yang mahal, GPU dan CPU boleh dirapatkan, menggunakan kaedah reka bentuk cip seperti Chiplet atau laluan pelaksanaan yang lebih praktikal. Di samping itu, kaedah mendekatkan data secara langsung dan unit pemprosesan yang sepadan juga akan sangat membantu untuk menyelesaikan masalah kos pengangkutan data yang tinggi.

Soalan 2: Kami telah melihat fenomena bahawa banyak algoritma pembelajaran mesin semasa boleh berkembang bersama perkakasan dan mempengaruhi satu sama lain. Sebagai contoh, NVIDIA dan syarikat lain telah mereka bentuk khas seni bina khusus untuk model Transformer, yang pada masa ini mempunyai prestasi terbaik dalam bidang ML, menjadikan Transformer lebih mudah digunakan. Pernahkah anda memerhatikan fenomena sedemikian dan bagaimana anda memberi komen?

Jawapan 2: Ini adalah contoh yang sangat baik tentang cara reka bentuk perkakasan dan aspek lain mengukuhkan satu sama lain. Pada masa ini, ramai penyelidik perkakasan memberi perhatian kepada perubahan dalam industri dan membuat pertimbangan tentang arah aliran. Reka bentuk bersama aplikasi dengan perkakasan boleh meningkatkan prestasi dengan ketara dan menjual lebih banyak perkakasan. Saya bersetuju dengan pernyataan "algoritma dan perkakasan berkembang bersama" ini.

Soalan 3: Anda menegaskan bahawa masa depan pengkomputeran berprestasi tinggi akan menjadi hibrid heterogen. Mengintegrasikan bahagian ini akan menjadi masalah yang sangat sukar dan mungkin membawa kepada kemerosotan prestasi. Jika kita hanya menggunakan GPU semata-mata, ia mungkin menghasilkan prestasi yang lebih baik. Apa pendapat anda?

Jawapan 3: Pada masa ini, CPU dan GPU digandingkan secara longgar dalam komputer berprestasi tinggi, dan data perlu dipindahkan daripada CPU ke GPU untuk pengiraan. Pada masa hadapan, trend menggunakan perkakasan yang berbeza untuk digabungkan bersama akan berterusan. Contohnya, menggunakan perkakasan khusus untuk pengiraan ML boleh meningkatkan lagi GPU. Dengan memuatkan algoritma berkaitan ML pada pemecut yang sepadan, butiran algoritma dilaksanakan pada pemecut dan hasil pengiraan dihantar ke pemproses yang sepadan. Pada masa hadapan, pemecut kuantum boleh pasang juga boleh dilaksanakan untuk melaksanakan algoritma kuantum yang sepadan dan sebagainya.

Soalan 4: HPC sangat mahal, terutamanya untuk penyelidik dan perusahaan kecil dan sederhana. Adakah terdapat kaedah seperti pengkomputeran awan yang boleh menjadikan HPC mampu milik untuk guru, pelajar dan perusahaan kecil dan sederhana yang terlibat dalam penyelidikan?

Jawapan 4: Di Amerika Syarikat, menggunakan HPC memerlukan penyerahan permohonan yang berkaitan kepada jabatan berkaitan, menerangkan masalah yang sedang dikaji dan jumlah pengiraan yang diperlukan. Jika diluluskan, tidak perlu risau tentang kos penggunaan HPC. Satu kajian telah dijalankan di Amerika Syarikat sama ada semua HPC perlu ditukar kepada sistem berasaskan awan. Keputusan menunjukkan bahawa penyelesaian berasaskan awan adalah 2-3 kali lebih mahal daripada secara langsung menggunakan sistem HPC. Adalah penting untuk mengambil perhatian andaian ekonomi di sebalik ini: HPC digunakan oleh orang yang mencukupi, dan masalah yang perlu diselesaikan kadangkala memerlukan penggunaan keseluruhan sistem HPC. Dalam kes ini, mempunyai HPC khusus adalah lebih baik daripada membeli perkhidmatan awan. Ini adalah keadaan semasa yang diperhatikan di Amerika Syarikat dan Eropah.

Atas ialah kandungan terperinci Pemenang Anugerah Turing Jack Dongarra: Bagaimana penyepaduan pengkomputeran berprestasi tinggi dan AI akan menumbangkan pengkomputeran saintifik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!