Reka bentuk perkakasan pengkomputeran AI yang universal dan boleh dijelaskan akan menjadi teknologi revolusioner seterusnya dalam EDA

Artikel ini diterbitkan semula daripada Lei Feng.com Jika anda perlu mencetak semula, sila pergi ke tapak web rasmi Lei Feng.com untuk memohon untuk kebenaran.

Chen Yiran, profesor kejuruteraan elektrik dan komputer di Duke University, pengarah Yayasan Sains Kebangsaan (NSF) Rangkaian Mudah Alih Generasi Seterusnya dan Institut Pengkomputeran Tepi (Athena), NSF Baharu dan Pengarah Pusat Penyelidikan Kolaboratif Universiti-Industri (IUCRC) Pengkomputeran Lestari (ASIC) dan pengarah bersama Pusat Kecerdasan Evolusi Pengiraan (DCEI) di Universiti Duke.

Chen Yiran ialah pelajar sarjana muda 1994 di Jabatan Elektronik Universiti Tsinghua, beliau menerima ijazah sarjana dari Universiti Tsinghua pada tahun 2001 dan ijazah kedoktoran dari Universiti Purdue pada tahun 2005. Minat penyelidikannya termasuk sistem memori dan storan baharu, pembelajaran mesin, pengkomputeran neuromorfik, dan sistem pengkomputeran mudah alih. Beliau telah menerbitkan lebih daripada 500 kertas kerja, 1 monograf, dan memenangi beberapa anugerah kertas terbaik di pelbagai persidangan. Kepujiannya termasuk Anugerah Pencapaian Teknikal Edward J. McCluskey Persatuan Komputer IEEE, Anugerah Perkhidmatan ACM SIGDA, dsb., dan beliau telah dicalonkan sebagai Fellow ACM atas sumbangannya kepada teknologi memori yang tidak menentu. Beliau juga pengerusi Kumpulan Kepentingan Khas ACM mengenai Automasi Reka Bentuk (SIGDA).

Baru-baru ini, Profesor Chen Yiran telah ditemu bual oleh ACM dan berkongsi pendapatnya tentang seni bina pengkomputeran baharu, kecekapan tenaga pengkomputeran AI, pusat pengkomputeran tepi NSF AI, automasi reka bentuk elektronik dan Cawangan Automasi Reka Bentuk ACM, dan pandangan tentang trend teknologi masa hadapan.

AI Technology Review telah menyusun teks asal wawancara tanpa mengubah maksud asal.

ACM: Sejak anda menceburi bidang memori dan sistem storan, apakah yang paling mengejutkan anda tentang perkembangan bidang ini?

Yiran Chen: Saya rasa perkara paling menarik yang berlaku dalam bidang ingatan dan sistem storan dalam tempoh 15-20 tahun yang lalu ialah sempadan antara pengkomputeran dan storan menjadi Samar-samar.

Revolusi terkini dalam paradigma pengkomputeran moden bermula dengan keperluan untuk memproses data besar, yang mencetuskan peningkatan permintaan untuk peranti storan berkapasiti besar. Kesesakan dengan cepat muncul disebabkan oleh lebar jalur yang terhad antara unit pengkomputeran dan peranti storan (sering dirujuk sebagai "kesesakan von Neumann"). Menjadikan sistem memori dan storan lebih "pintar" telah menjadi penyelesaian popular untuk mengurangkan pergantungan sistem pada lebar jalur memori dan mempercepatkan pemprosesan data, seperti pengkomputeran memori dekat dan pengkomputeran dalam memori.

Ini adalah contoh hebat bagaimana peralihan dalam aplikasi sasaran (iaitu daripada pengkomputeran saintifik kepada pengkomputeran berpusatkan data) telah mengubah falsafah reka bentuk seni bina komputer. Perubahan dalam falsafah ini telah memberi inspirasi kepada pelbagai produk pengkomputeran baharu, seperti pemacu keadaan pepejal pintar (SSD), memori capaian rawak dinamik (DRAM) dan unit pemprosesan data (DPU), serta banyak teknologi memori yang muncul seperti 3D Xpoint ingatan (Intel dan Micron).

Ia juga telah membawa kepada kemunculan beberapa seni bina bukan von Neumann baharu, seperti enjin produk titik berasaskan palang, yang memetakan pengiraan terus ke topologi perkakasan pengiraan untuk dilaksanakan pendaraban matriks vektor.

ACM: Salah satu kertas kerja anda yang paling banyak disebut baru-baru ini ialah "Pembelajaran Sparsity Berstruktur dalam Rangkaian Neural Dalam ", yang menggambarkan kepentingan meningkatkan kecekapan rangkaian saraf dalam. Mengapakah penting untuk meningkatkan kecekapan rangkaian neural dalam? Apakah hala tuju penyelidikan yang menjanjikan dalam bidang ini?

Alamat kertas: https://dl.acm.org/doi /pdf /10.5555/3157096.3157329

Chen Yiran: Adalah diketahui umum bahawa ketepatan (inferens) tinggi rangkaian saraf dalam (DNN) moden disertai dengan kos pengiraan yang tinggi , Ini disebabkan oleh peningkatan dalam kedalaman dan lebar rangkaian saraf. Walau bagaimanapun, kami juga tahu bahawa berat sambungan rangkaian saraf tidak mempunyai kesan yang sama terhadap ketepatan rangkaian saraf. Apabila berat sambungan hampir kepada sifar, kemungkinan sambungan boleh dipangkas (iaitu, pemberat ditetapkan kepada sifar) tanpa menjejaskan ketepatan rangkaian saraf dengan ketara dalam apa jua cara. Makalah yang kami terbitkan di NeurIPS 2016 ini menunjukkan bahawa mempelajari rangkaian saraf jarang berstruktur berat bukan sifar yang disimpan dalam ingatan boleh mengekalkan lokaliti data yang baik dan mengurangkan kadar kehilangan cache. Oleh itu, kecekapan pengiraan rangkaian saraf bertambah baik. Teknik yang dicadangkan, iaitu pembelajaran jarang berstruktur (sering dipanggil penyambungan berstruktur) dan variannya, telah digunakan secara meluas dalam reka bentuk model DNN moden yang cekap dan disokong oleh banyak cip pengkomputeran kecerdasan buatan (AI), seperti Intel Nervana dan NVIDIA Ampere.

Meningkatkan kecekapan DNN adalah penting kerana sebahagian besarnya menghalang penskalaan model DNN yang besar dan penggunaan model besar pada sistem dengan pengkomputeran yang terhad, sumber storan dan belanjawan kuasa, cth. Trend penyelidikan terkini dalam bidang ini ialah gabungan inovasi peringkat algoritma dan perkakasan, seperti reka bentuk pemecut kecerdasan buatan berdasarkan peranti nano yang muncul untuk mempercepatkan model kecerdasan buatan baharu atau belum dibangunkan, seperti model Bayesian, model seperti kuantum, neural. Model simbolik dsb.

ACM: Baru-baru ini diumumkan bahawa anda akan mengarahkan projek Athena (Athena) Rangkaian Generasi Seterusnya Yayasan Sains Nasional dan Institut Kepintaran Buatan Pengkomputeran Tepi. Projek Athena ialah projek lima tahun, $20 juta yang akan melibatkan beberapa institusi termasuk Duke University, MIT, Princeton University, Yale University, University of Michigan, University of Wisconsin dan North Carolina Agricultural and Technical State University. Apakah matlamat projek Athena?

Yiran Chen: Kami sangat teruja dengan penubuhan projek Athena, yang dibiayai oleh Yayasan Sains Kebangsaan dan Institut Kecerdasan Buatan Pengkomputeran Tepi yang ditaja oleh Jabatan Keselamatan Dalam Negeri A.S. Matlamat Athena adalah untuk mengubah reka bentuk, operasi dan perkhidmatan sistem rangkaian mudah alih masa hadapan dengan menyampaikan prestasi yang tidak pernah berlaku sebelum ini dan menyokong perkhidmatan yang mustahil sebelum ini sambil mengawal kerumitan dan kos melalui teknologi kecerdasan buatan termaju.

Aktiviti penyelidikan Athena dibahagikan kepada empat bidang teras: sistem pengkomputeran tepi, sistem komputer, sistem rangkaian dan perkhidmatan serta aplikasi. Teknologi kecerdasan buatan yang kami bangunkan juga akan menyediakan asas teori dan teknikal untuk kefungsian, heterogeniti, kebolehskalaan dan kebolehpercayaan rangkaian mudah alih masa hadapan.

Sebagai titik perhubungan untuk komuniti, Athena akan mempromosikan ekosistem teknologi baru muncul dan memupuk generasi baharu pemimpin teknologi yang pelbagai dengan nilai etika dan saksama. Kami menjangkakan kejayaan Athena akan membentuk semula masa depan industri rangkaian mudah alih, mencipta model perniagaan baharu dan peluang keusahawanan serta mengubah penyelidikan rangkaian mudah alih dan aplikasi perindustrian pada masa hadapan.

ACM: Apakah trend paling menarik dalam automasi reka bentuk? Sebagai pengerusi ACM Special Interest Group on Design Automation (SIGDA), apakah peranan yang anda lihat organisasi ini bermain dalam bidang ini?

Yiran Chen: Arah aliran yang paling menarik dalam automasi reka bentuk sepanjang dekad yang lalu ialah penggunaan meluas alat automasi reka bentuk elektronik (EDA) Pembelajaran mesin teknologi. Memandangkan kualiti reka bentuk cip sebahagian besarnya bergantung pada pengalaman pereka cip, adalah idea semula jadi untuk membangunkan alat EDA pintar yang boleh secara langsung mempelajari cara mewarisi kaedah reka bentuk cip semikonduktor daripada reka bentuk sedia ada sebelum ini tanpa perlu melalui model besar tradisional lagi . Pelbagai model pembelajaran mesin telah dibenamkan ke dalam aliran EDA terkini untuk mempercepatkan penghalaan dan peletakan ujian pengiraan, anggaran kuasa, analisis masa, penalaan parameter, integriti isyarat dan banyak lagi. Algoritma pembelajaran mesin juga telah dilaksanakan dalam modul perkakasan cip untuk memantau dan meramalkan penggunaan kuasa masa jalan cip. Sebagai contoh, rangka kerja APOLLO kami (memenangi Anugerah Kertas Terbaik MICRO 2021).

Alamat kertas: https://dl.acm.org/doi/pdf/10.1145/3466752.3480064

Sebagai salah satu persatuan profesional EDA terbesar, SIGDA komited untuk meningkatkan kemahiran dan pengetahuan profesional dan pelajar EDA di seluruh dunia. SIGDA menaja dan menganjurkan lebih daripada 30 persidangan antarabangsa dan serantau setiap tahun, menyunting dan menyokong berbilang jurnal dan surat berita, dan menganjurkan lebih daripada sedozen acara pendidikan dan teknikal, termasuk bengkel, tutorial, webinar, pertandingan, forum penyelidikan dan pembentangan universiti. Dengan kerjasama rakan kongsi industri kami, SIGDA juga menyediakan gaji perjalanan kepada pelajar muda, guru dan profesional untuk menyokong penyertaan mereka dalam persidangan. Kami juga menyampaikan beberapa anugerah kepada penyelidik dan sukarelawan yang cemerlang dalam komuniti.

ACM: Apakah contoh saluran penyelidikan dalam bidang anda yang akan memberi kesan terutamanya pada tahun-tahun akan datang?

Chen Yiran: Saya percaya bahawa proses reka bentuk perkakasan pengkomputeran AI yang universal dan boleh ditafsir akan menjadi langkah seterusnya dalam EDA dan penyelidikan sistem pengkomputeran teknologi Revolusi.

Dalam dekad yang lalu, pelbagai reka bentuk perkakasan telah dicadangkan untuk mempercepatkan pengiraan model kecerdasan buatan. Walau bagaimanapun, pereka sentiasa bergelut antara reka bentuk serba boleh dan kecekapan, kerana banyak penyesuaian perkakasan diperlukan untuk menampung struktur unik model yang sentiasa berubah. Sebaliknya, kebolehjelasan telah menjadi cabaran jangka panjang dalam memastikan keteguhan model AI dan generalisasi reka bentuk model.

Reka bentuk perkakasan pengkomputeran AI masa hadapan mungkin terdiri daripada pelbagai modul perkakasan boleh tafsir yang sepadan dengan algoritma masing-masing. Prestasi perkakasan pengkomputeran AI dijamin oleh proses reka bentuk biasa. Satu penyelesaian yang mungkin adalah menggunakan kaedah simbolik saraf untuk membina model AI boleh digubah dan melaksanakan modul perkakasan yang sepadan dengan modul algoritma simbolik. Aliran AutoML lanjutan kemudiannya boleh digunakan untuk mengautomasikan reka bentuk perkakasan pengkomputeran AI sasaran untuk mencapai prestasi yang diingini sambil menjamin kebolehgeneralisasian dan kebolehtafsiran.

Atas ialah kandungan terperinci Reka bentuk perkakasan pengkomputeran AI yang universal dan boleh dijelaskan akan menjadi teknologi revolusioner seterusnya dalam EDA. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!