Universelles, erklärbares KI-Computing-Hardwaredesign wird die nächste revolutionäre Technologie in der EDA sein

Dieser Artikel wurde von Lei Feng.com reproduziert. Wenn Sie einen Nachdruck benötigen, besuchen Sie bitte die offizielle Website von Lei Feng.com, um eine Genehmigung zu beantragen.

Chen Yiran, Professor am Fachbereich Elektrotechnik und Computertechnik der Duke University, Direktor des Next Generation Mobile Networks and Edge Computing Institute (Athena) der National Science Foundation (NSF) und der NSF New and Sustainable Computing (ASIC) School Unternehmensdirektor des Collaborative Research Centre (IUCRC) und Co-Direktor des Center for Computational Evolutionary Intelligence (DCEI) an der Duke University.

Chen Yiran studiert 1994 an der Fakultät für Elektronik der Tsinghua-Universität. Sie erhielt 2001 einen Master-Abschluss von der Tsinghua-Universität und promovierte 2005 an der Purdue-Universität. Seine Forschungsinteressen umfassen neue Speicher- und Speichersysteme, maschinelles Lernen, neuromorphes Computing und mobile Computersysteme. Er hat mehr als 500 Aufsätze und eine Monographie veröffentlicht und auf verschiedenen Konferenzen mehrere Auszeichnungen für den besten Beitrag gewonnen. Zu seinen Auszeichnungen zählen der Edward J. McCluskey Technical Achievement Award der IEEE Computer Society, der ACM SIGDA Service Award usw. und er wurde für seine Beiträge zur nichtflüchtigen Speichertechnologie als ACM Fellow nominiert. Er ist außerdem Vorsitzender der ACM Special Interest Group on Design Automation (SIGDA).

Kürzlich wurde Professor Chen Yiran von ACM interviewt und teilte seine Ansichten zu neuer Computerarchitektur, KI-Computing-Energieeffizienz, NSF AI Edge Computing Center, Electronic Design Automation und ACM Design Automation Branch sowie zukünftigen Technologietrends.

AI Technology Review hat den Originaltext des Interviews zusammengestellt, ohne die ursprüngliche Bedeutung zu ändern.

ACM: Was hat Sie an der Entwicklung dieses Bereichs am meisten überrascht, seit Sie in den Bereich der Speicher- und Speichersysteme eingestiegen sind?

Chen Yiran: Ich glaube, in den letzten 15 bis 20 Jahren Das Aufregendste, was heute im Bereich Speicher und Speichersysteme passiert, ist, dass die Grenzen zwischen Computer und Speicher verschwimmen.

Die jüngste Revolution im modernen Computerparadigma begann mit der Notwendigkeit, große Datenmengen zu verarbeiten, was zu einer steigenden Nachfrage nach Speichergeräten mit großer Kapazität führte. Aufgrund der begrenzten Bandbreite zwischen der Recheneinheit und dem Speichergerät kam es schnell zu einem Engpass (oft als „von-Neumann-Engpass“ bezeichnet). Speicher- und Speichersysteme „intelligenter“ zu machen, ist zu einer beliebten Lösung geworden, um die Abhängigkeit des Systems von der Speicherbandbreite zu verringern und die Datenverarbeitung zu beschleunigen, wie etwa Near-Memory-Computing und In-Memory-Computing.

Dies ist ein großartiges Beispiel dafür, wie der Wandel der Zielanwendungen (d. h. vom wissenschaftlichen Rechnen zum datenzentrierten Computing) die Designphilosophie der Computerarchitektur verändert hat. Diese Änderung der Philosophie hat eine Vielzahl neuer Computerprodukte inspiriert, beispielsweise intelligente Solid-State-Laufwerke (SSD), dynamische Direktzugriffsspeicher (DRAM) und Datenverarbeitungseinheiten (DPU) sowie viele neue Speichertechnologien wie 3D Xpoint Speicher (Intel und Micron).

Es hat auch zur Entstehung einiger neuer Nicht-von-Neumann-Architekturen geführt, wie z. B. Crossbar-basierte Skalarprodukt-Engines, die eine Vektor-Matrix-Multiplikation durchführen, indem sie die Berechnung direkt auf die Topologie der Computerhardware abbilden.

ACM: Eine Ihrer am häufigsten zitierten jüngsten Arbeiten ist „Learning Structured Sparsity in Deep Neural Networks“, in der erläutert wird, wie wichtig es ist, die Effizienz tiefer neuronaler Netze zu verbessern. Warum ist es wichtig, die Effizienz tiefer neuronaler Netze zu verbessern? Was sind die vielversprechenden Forschungsrichtungen auf diesem Gebiet? Die hohe (Inferenz-)Genauigkeit moderner tiefer neuronaler Netze (DNNs) geht mit einem höheren Rechenaufwand einher, der durch die zunehmende Tiefe und Breite neuronaler Netze verursacht wird. Wir wissen jedoch auch, dass die Verbindungsgewichte des neuronalen Netzwerks nicht den gleichen Einfluss auf die Genauigkeit des neuronalen Netzwerks haben. Wenn die Verbindungsgewichte nahe bei Null liegen, ist es wahrscheinlich, dass die Verbindungen beschnitten werden können (d. h. die Gewichte werden auf Null gesetzt), ohne dass die Genauigkeit des neuronalen Netzwerks in irgendeiner Weise wesentlich beeinträchtigt wird. Dieser Artikel, den wir auf der NeurIPS 2016 veröffentlicht haben, zeigt, dass das Erlernen strukturierter, spärlicher neuronaler Netze mit einem Gewicht ungleich Null, die im Speicher gespeichert sind, eine gute Datenlokalität aufrechterhalten und die Cache-Miss-Raten reduzieren kann. Daher wird die Recheneffizienz neuronaler Netze erheblich verbessert. Die vorgeschlagene Technik, nämlich strukturiertes Sparse-Learning (oft als strukturiertes Spleißen bezeichnet) und ihre Varianten, wurde im modernen effizienten DNN-Modelldesign weit verbreitet und wird von vielen Rechenchips für künstliche Intelligenz (KI) wie Intel Nervana und NVIDIA Ampere unterstützt.

Die Verbesserung der Effizienz von DNN ist von entscheidender Bedeutung, da sie die Skalierung großer DNN-Modelle und den Einsatz großer Modelle auf Systemen mit begrenzten Rechen-, Speicherressourcen und Strombudgets, wie z. B. Edge- und IoT-Geräten, weitgehend behindert. Der neueste Forschungstrend in diesem Bereich ist die Kombination von Innovationen auf Algorithmen- und Hardwareebene, wie etwa der Entwurf von Beschleunigern für künstliche Intelligenz auf Basis neu entstehender Nanogeräte, um neue oder unentwickelte Modelle für künstliche Intelligenz zu beschleunigen, wie etwa Bayes'sche Modelle, quantenähnliche Modelle oder neuronale Modelle Symbolisches Modell usw.

ACM: Kürzlich wurde bekannt gegeben, dass Sie das Athena-Projekt (Athena) des Next Generation Network and Edge Computing Artificial Intelligence Institute der National Science Foundation leiten werden. Das Athena-Projekt ist ein fünfjähriges, 20 Millionen US-Dollar teures Projekt, an dem mehrere Institutionen beteiligt sein werden, darunter die Duke University, das MIT, die Princeton University, die Yale University, die University of Michigan, die University of Wisconsin und die North Carolina Agricultural and Technical State University. Was sind die Ziele von Project Athena?

Yiran Chen: Wir freuen uns sehr über die Gründung von Project Athena, einem Flaggschiff-Institut für Edge-Computing-künstliche Intelligenz, das von der National Science Foundation und dem US-Heimatschutzministerium gefördert wird . Das Ziel von Athena besteht darin, das Design, den Betrieb und die Dienste zukünftiger Mobilfunknetzsysteme zu verändern, indem es beispiellose Leistung liefert und bisher unmögliche Dienste unterstützt und gleichzeitig Komplexität und Kosten durch fortschrittliche Technologie der künstlichen Intelligenz kontrolliert.

Die Forschungsaktivitäten von Athena sind in vier Kernbereiche unterteilt: Edge-Computing-Systeme, Computersysteme, Netzwerksysteme sowie Dienste und Anwendungen. Die von uns entwickelte Technologie der künstlichen Intelligenz wird auch die theoretischen und technischen Grundlagen für die Funktionalität, Heterogenität, Skalierbarkeit und Vertrauenswürdigkeit zukünftiger Mobilfunknetze liefern.

Als Verbindungspunkt für die Community wird Athena das Ökosystem neuer Technologien fördern und eine vielfältige neue Generation von Technologieführern mit ethischen und fairen Werten fördern. Wir gehen davon aus, dass der Erfolg von Athena die Zukunft der Mobilfunknetzbranche neu gestalten, neue Geschäftsmodelle und unternehmerische Möglichkeiten schaffen und die zukünftige Mobilfunknetzforschung und industrielle Anwendungen verändern wird.

ACM: Was sind die spannendsten Trends in der Designautomatisierung? Welche Rolle sehen Sie als Vorsitzender der ACM Special Interest Group on Design Automation (SIGDA) in diesem Bereich?

Yiran Chen: Der aufregendste Trend in der Designautomatisierung im letzten Jahrzehnt war die weit verbreitete Einführung der Technologie des maschinellen Lernens in Tools zur elektronischen Designautomatisierung (EDA). Da die Qualität des Chipdesigns weitgehend von der Erfahrung der Chipdesigner abhängt, liegt die Idee nahe, intelligente EDA-Tools zu entwickeln, die direkt lernen können, wie man Halbleiterchip-Designmethoden von zuvor vorhandenen Designs erbt, ohne das traditionelle, umfangreiche Modell erneut durchlaufen zu müssen . Verschiedene Modelle für maschinelles Lernen wurden in die neuesten EDA-Abläufe eingebettet, um die Weiterleitung und Platzierung von Computertests, die Leistungsschätzung, die Timing-Analyse, die Parameterabstimmung, die Signalintegrität und mehr zu beschleunigen. In den Hardwaremodulen des Chips wurden außerdem Algorithmen für maschinelles Lernen implementiert, um den Stromverbrauch des Chips während der Laufzeit zu überwachen und vorherzusagen. Zum Beispiel unser APOLLO-Framework (gewonnen mit dem MICRO 2021 Best Paper Award).

Papieradresse: https://dl.acm.org/doi/pdf/10.1145/3466752.3480064

Als einer der größten EDA-Berufsverbände engagiert sich SIGDA für die Förderung von EDA-Fachkräften und -Studenten die Welt Fähigkeiten und Wissen. SIGDA sponsert und organisiert jedes Jahr mehr als 30 internationale und regionale Konferenzen, gibt mehrere Zeitschriften und Newsletter heraus und unterstützt sie und veranstaltet mehr als ein Dutzend Bildungs- und Technikveranstaltungen, darunter Workshops, Tutorials, Webinare, Wettbewerbe, Forschungsforen und Universitätspräsentationen. In Zusammenarbeit mit unseren Industriepartnern vergibt SIGDA außerdem Reisestipendien an junge Studenten, Lehrer und Fachkräfte, um ihre Teilnahme an Konferenzen zu unterstützen. Darüber hinaus verleihen wir herausragenden Forschern und Freiwilligen in der Gemeinschaft eine Reihe von Auszeichnungen.

ACM: Was ist ein Beispiel für einen Forschungsweg in Ihrem Bereich, der in den kommenden Jahren besonders wirkungsvoll sein wird?

Chen Yiran: Ich glaube, dass ein universeller und erklärbarer Entwurfsprozess für KI-Computerhardware die nächste revolutionäre Technologie in der EDA- und Computersystemforschung sein wird.

Im letzten Jahrzehnt wurden verschiedene Hardwaredesigns vorgeschlagen, um die Berechnung von Modellen der künstlichen Intelligenz zu beschleunigen. Allerdings kämpfen Designer immer zwischen Designvielfalt und Effizienz, da viele Hardwareanpassungen erforderlich sind, um der einzigartigen Struktur des sich ständig ändernden Modells Rechnung zu tragen. Andererseits war die Erklärbarkeit eine langfristige Herausforderung bei der Gewährleistung der Robustheit von KI-Modellen und der Verallgemeinerung des Modelldesigns.

Zukünftiges KI-Computing-Hardwaredesign kann aus verschiedenen interpretierbaren Hardwaremodulen bestehen, die ihren jeweiligen Algorithmen entsprechen. Die Leistung der KI-Computing-Hardware wird durch einen gemeinsamen Designprozess gewährleistet. Eine mögliche Lösung besteht darin, neuronale symbolische Methoden zu verwenden, um ein zusammensetzbares KI-Modell zu erstellen und Hardwaremodule zu implementieren, die den symbolischen Algorithmusmodulen entsprechen. Erweiterte AutoML-Abläufe können dann verwendet werden, um den Entwurf der Ziel-KI-Rechnerhardware zu automatisieren, um die gewünschte Leistung zu erreichen und gleichzeitig Generalisierbarkeit und Interpretierbarkeit zu gewährleisten.

Das obige ist der detaillierte Inhalt vonUniverselles, erklärbares KI-Computing-Hardwaredesign wird die nächste revolutionäre Technologie in der EDA sein. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!