通用、可解釋的AI計算硬體設計將是EDA的下一個革命性技術

本文转自雷锋网，如需转载请至雷锋网官网申请授权。

陈怡然，杜克大学电子与计算机工程系教授，美国国家科学基金委（NSF）下一代移动网络与边缘计算研究院（Athena）主任，NSF 新型与可持续计算（ASIC）校企合作研究中心（IUCRC）主任，杜克大学计算进化智能研究中心（DCEI）联合主任。

陈怡然是清华大学电子系1994级本科生，2001年获得清华大学硕士学位，2005年获得普渡大学博士学位。他的研究兴趣包括新的记忆和存储系统、机器学习、神经形态计算和移动计算系统。他曾发表500多篇论文，出版1部专著，并在各种会议上获得几次最佳论文奖。他获得的荣誉包括 IEEE 计算机学会 Edward J. McCluskey技术成就奖、ACM SIGDA服务奖等，并因其对非易失性内存技术的贡献而被提名为ACM Fellow。他还是美国计算机学会设计自动化特别兴趣小组（SIGDA）主席。

近日，陈怡然教授接受了ACM的采访，分享了他对于计算新架构、AI计算能效、NSF AI边缘计算中心、电子设计自动化和ACM设计自动化分会、以及未来技术趋势的看法。

AI科技评论对采访原文做了不改变原意的编译。

ACM：自从您进入记忆和存储系统领域以来，该领域的发展最让您惊讶的一点是什么?

陈怡然：我认为，在过去的15-20年里，记忆和存储系统领域发生的最令人兴奋的事情，是计算和存储之间的界限变得模糊。

现代计算范式的新近革命始于处理大数据的需要，这引发了对大容量存储设备的日益增长的需求。计算单元和存储设备之间的有限带宽所带来的瓶颈很快就出现了（通常被称为「冯·诺伊曼瓶颈」）。使内存和存储系统更「智能」已经成为缓解系统对内存带宽的依赖和加快数据处理的流行解决方案，比如近内存计算和内存计算。

这是一个很好的例子，说明了目标应用程序的转变（即从科学计算到以数据为中心的计算）如何改变了计算机架构的设计理念。这种理念的改变激发了各种新的计算产品，如智能固态硬盘(SSD)、动态随机访问内存(DRAM)和数据处理单元(DPU)，以及许多新兴的内存技术，如3D Xpoint内存(Intel和Micron)。

它也导致了一些新的非冯·诺伊曼架构的出现，比如基于交叉杆的点积引擎，它通过直接将计算映射到计算硬件的拓扑结构来执行向量矩阵乘法。

ACM：您最近被引用最多的一篇论文是“Learning Structured Sparsity in Deep Neural Networks”，它阐述了提高深度神经网络效率的重要性。为什么提高深度神经网络的效率很重要？在这一领域有哪些有前景的研究方向?

论文地址：https://dl.acm.org/doi/pdf/10.5555/3157096.3157329

陈怡然：众所周知，现代深度神经网络（DNNs）的高（推理）精度伴随着较高的计算成本，这是神经网络的深度和宽度的增加所导致的。然而，我们也知道，神经网络的连接权值对神经网络的精度并没有同等的影响。当连接权值接近于零时，连接很可能就可以被修剪（即权值设置为零），而不会以任何方式对神经网络的准确性产生显著的影响。我们在NeurIPS 2016上发表的这篇论文表明，学习非零权结构化存储在内存中的稀疏神经网络可以保持良好的数据局部性，降低缓存失误率。因此，神经网络的计算效率大大提高。所提出的技术，即结构化稀疏学习（通常称为结构化剪接）及其变体已被广泛应用于现代高效DNN模型设计，并得到许多人工智能(AI)计算芯片的支持，如英特尔Nervana和NVIDIA安培。

提高DNN的效率至關重要，因為它在很大程度上阻礙了大型DNN模型的擴展，也阻礙了大型模型在運算、儲存資源和電力預算有限的系統上的部署，例如Edge和物聯網設備。該領域的最新研究趨勢是演算法和硬體層面創新的結合，例如，基於新興奈米設備設計人工智慧加速器，用於加速新的或未開發的人工智慧模型，如貝葉斯模型、類量子模型、神經符號模型等。

ACM：最近有消息宣布，您將指導美國國家科學基金委的下一代網路與邊緣運算人工智慧研究院的雅典娜計畫（Athena）。 Athena計畫歷時5年，耗資2,000萬美元，包括杜克大學、麻省理工學院、普林斯頓大學、耶魯大學、密西根大學、威斯康辛大學和北卡羅來納農業技術州立大學在內的幾家機構將參與其中。 Athena計畫的目標是什麼?

陳怡然：我們對Athena計畫的成立感到非常興奮，它是由美國國家科學基金委和美國國土安全部贊助的邊緣運算人工智慧旗艦研究所。 Athena的目標是透過提供前所未有的效能和支援以前不可能實現的服務，同時透過先進的人工智慧技術控制複雜性和成本，從而改變未來行動網路系統的設計、營運和服務。

Athena的研究活動分為四個核心領域：邊緣運算系統、電腦系統、網路系統以及服務和應用。我們開發的人工智慧技術也將為未來行動網路的功能、異質性、可擴展性和可信賴性提供理論和技術基礎。

Athena作為社群的連結點，將促進新興科技的生態系統，培養多樣化的具有道德和公平價值觀的新一代技術領導者。我們預計，Athena的成功將重塑行動網路產業的未來，創造新的商業模式和創業機會，並改變未來的行動網路研究和工業應用。

ACM：設計自動化領域最令人興奮的趨勢是什麼？身為美國電腦學會設計自動化特別興趣小組（SIGDA）的主席，您認為該組織在這個領域扮演著什麼樣的角色？

陳怡然：在過去十年中，設計自動化最令人興奮的趨勢是在電子設計自動化（EDA）工具中廣泛採用機器學習技術。由於晶片設計品質在很大程度上取決於晶片設計師的經驗，因此開發智慧的EDA工具是很自然的思路，它可以直接學習如何從先前已有的設計中延承半導體晶片的設計方法，而無需再經歷一次傳統的笨重模型。各種機器學習模型已嵌入最新的EDA流程中，以加速計算的試驗路由和佈局、功率估計、時序分析、參數調整、訊號完整性等。機器學習演算法也已經在晶片的硬體模組中實現，以監測和預測晶片的運行時功耗。例如我們的APOLLO框架（獲得MICRO 2021 最佳論文獎）。

論文網址：https://dl.acm.org/doi/pdf/10.1145/3466752.3480064

#作為最大的EDA專業協會之一，SIGDA致力於提升全球EDA專業人士和學生的技能和知識。 SIGDA每年贊助和組織30多個國際和地區會議，編輯和支援多種期刊和通訊，並主辦十幾場教育和技術活動，包括研討會、教程、網路研討會、競賽、研究論壇和大學演示。透過與我們的行業夥伴合作，SIGDA還為年輕學生、教師和專業人士提供旅行津貼，以支持他們參加會議。我們也頒發一些獎項給社區中的傑出研究人員和志工。

ACM：在未來幾年裡，您所在領域的研究途徑會特別有影響力的一個例子是什麼？

陳怡然：我相信，一個通用的和可解釋的AI計算硬體設計流程，將是EDA和計算系統研究的下一個革命性技術。

在過去的十年中，人們提出各種硬體設計來加速人工智慧模型的運算。然而，設計者總是在設計的通用性和效率之間掙扎，因為為了適應不斷變化的模型的獨特結構，需要進行許多硬體客製化。另一方面，可解釋性一直是確保AI模型的穩健性和推廣模型設計的長期挑戰。

未來的AI計算硬體設計可能由各種可解釋的硬體模組組成，這些模組對應它們各自的演算法。 AI計算硬體的性能由一個通用的設計流程來保證。一個可能的解決方案是使用神經符號化方法來建立一個可組合的AI模型，並實現與符號化演算法模組相對應的硬體模組。然後，可以使用擴展的AutoML流自動化目標AI計算硬體的設計，從而在保證通用性和可解釋性的情況下實現所需的效能。

以上是通用、可解釋的AI計算硬體設計將是EDA的下一個革命性技術的詳細內容。更多資訊請關注PHP中文網其他相關文章！