编辑 | 紫罗
AI 的各个领域中，深度机器学习已经取得了显著的成功，但同时实现高可解释性和高效率仍然是一个严峻的挑战
张量网络，即Tensor Network（TN），起源于量子力学，是一种成熟的数学工具。在开发高效的“白盒”机器学习方案方面，它展示了独特的优势
近日，首都师范大学的冉仕举和中国科学院大学的苏刚从量子力学中汲取灵感，综述了一种基于 TN 的创新方法，为协调深度机器学习的可解释性和效率这一长期挑战提供了一个有前景的解决方案。
一方面，TN ML 的可解释性可以通过基于量子信息和多体物理的坚实理论基础来实现。另一方面，强大的TN表达和量子多体物理中开发的先进计算技术可以获得高效率。随着量子计算机的快速发展，TN有望在不久的将来朝着「量子 AI」的方向产生可在量子硬件上运行的新颖方案
该综述以《Tensor Networks for Interpretable and Efficient Quantum-Inspired Machine Learning》为题，于 2023 年 11 月 17 日发表在《Intelligent Computing》上。
论文链接：https://spj.science.org/doi/10.34133/icomputing.0061
深度学习模型，特别是神经网络模型，常常被称为「黑匣子」，因为它们的决策过程复杂且难以解释。神经网络是目前最强大的深度学习模型。展示其强大功能的一个典型例子是GPT。然而，由于缺乏可解释性，即使是GPT也面临着稳健性和隐私保护等严重问题
这些模型缺乏可解释性可能会导致人们对其预测和决策缺乏信任，从而限制了它们在重要领域的实际应用
基于量子信息和多体物理的张量网络为 ML 提供了「白盒」方法。研究人员表示：「张量网络在将量子概念、理论和方法与 ML 联系起来以及有效实现基于张量网络的 ML 方面发挥着至关重要的作用。」
来自量子物理学的强大的「白盒」数学工具
Quantum physics has brought forth powerful "white box" mathematical tools.
随着经典计算和量子计算的快速发展，TN 为克服可解释性和效率之间的困境提供了新的思路。TN 被定义为多个张量的收缩。它的网络结构决定了张量收缩的方式。
在图1中，展示了三种类型的TN的图解表示。这三种类型分别是矩阵乘积态（MPS）表示、树型TN以及投影纠缠对态（PEPS）表示
图 1：3 种类型的 TN 的图解表示：（A）MPS、（B）树 TN 和（C）PEPS。（来源：论文）
TN 作为大规模量子系统状态的有效表示，在量子力学领域取得了显著的成功。在 TN 理论中，满足纠缠熵面积定律的状态可以通过具有有限键维数的 TN 表示来有效地近似。
基于 MPS 的算法，包括密度矩阵重整化组和时间演化块抽取 ，在模拟纠缠熵时表现出显著的效率。此外，MPS 还可以表示许多广泛应用于量子信息处理和计算中的人工构造的状态，例如 Greenberger–Horne–Zeilinger 状态和 W状态。
PEPS 表示遵守二维及更高维度的面积定律，并在高维量子系统研究中取得了巨大的成功。总之，纠缠熵的面积定律为模拟量子系统的TN的表示或计算能力提供了内在的解释。这种解释也适用于TN ML。此外，TN作为一种"白盒"数值工具（Born机器），类似于ML的（经典）概率模型，可以通过玻恩的量子概率解释（也被称为玻恩规则）来解释
图片2：采用MPS（Tensor Train形式）可以有效地表示或者公式化大量数学对象。（引自：论文）
受到量子启发的机器学习的技术进展 (Technological advancements in machine learning inspired by quantum)
TN提供了一種新的方法來解決機器學習中可解釋性和效率之間的困境，這得益於其完善的理論和有效的方法。目前，有兩條相互糾纏的研究路線正在爭論中：
- 量子理論如何作為 TN ML 可解釋性的數學基礎？
- 量子力學 TN 方法和量子運算技術如何產生高效率的T N ML 方案？
在這篇內容中，研究人員從特徵映射、建模和基於量子計算的ML 的角度介紹了最近在量子啟發ML 方面取得的令人鼓舞的進展，圍繞這兩個問題展開了討論。這些進展與使用 TN 在提高效率和可解釋性方面的優勢密切相關。這些 ML 方案通常被稱為「量子啟發」，因為它們的理論、模型和方法源自於量子物理學或受其啟發。然而，我們需要更多努力來開發基於量子物理學的可解釋性系統框架
在下面的表格中，總結了關於TN ML的主要方法以及它們與效率和可解釋性之間的關係
強化經典機器學習的技術網路
作為一種基本的數學工具，神經網路在ML 中的應用並不局限於那些遵循量子機率解釋的應用。鑑於 TN 可用於有效地表示和模擬經典隨機系統的配分函數，如 Ising 和 Potts 模型，TN 與玻爾茲曼機之間的關係已被廣泛研究。
TN也被用來增強NN並開發新穎的ML模型，忽略任何機率解釋。
重新寫成中文：
TN也被用於增強NN並開發新穎的ML模型，無視任何機率解釋
基於相同的基礎，模型壓縮方法被提出來將NN 的變分參數分解為TN 或直接將變分參數表示為TN。後者可能不需要明確分解過程，其中神經網路的參數不會恢復為張量，而是直接恢復為 TT 形式 、矩陣乘積算子或深度 TN。非線性激活函數已添加到 TN 中，以提高其 ML 性能，將 TN 從多線性模型推廣到非線性模型。
需要重寫的內容是: 結論
長期以來，人們一直專注於解決人工智慧（尤其是深度機器學習）在效率和可解釋性之間的困境。在這方面，我們回顧了TN取得的令人鼓舞的進展，這是一種可解釋且高效的量子啟發式機器學習方法
圖3 中的“N ML butterfly”列出了TN在ML 方面的優勢。對於量子啟發的 ML，TN 的優勢可以從兩個關鍵方面來總結：用於可解釋性的量子理論和用於提高效率的量子方法。一方面，TN 使我們能夠應用統計和量子理論（例如糾纏理論）來建立可解釋性的機率框架，這可能超出經典資訊或統計理論的描述。另一方面，強大的量子力學 TN 演算法和大幅增強的量子運算技術將使量子啟發的 TN ML 方法在經典和量子運算平台上都具有高效率。
圖 3：「TN ML butterfly」總結了 2 個獨特優勢：基於量子理論的可解釋性（左翼）和基於量子方法的效率（右翼）。 （資料來源：論文）
特別是，隨著最近在GPT領域的顯著進展，模型複雜度和運算能力都出現了前所未有的激增，這為TN ML帶來了新的機會和挑戰。在面對新興的GPT AI時，可解釋性變得越來越有價值，不僅可以提高研究效率，還可以更好地應用和更加安全地控制
在當前的NISQ時代和即將在到來的真正的量子運算時代，TN正迅速成長為探索量子人工智慧的重要數學工具，從理論、模型、演算法、軟體、硬體和應用等各個角度
參考內容：https ://techxplore.com/news/2023-11-tensor-networks-efficiency-quantum-inspired-machine.html
#
以上是國科大&首師大合作綜述：揭示「白盒子」張量網路如何提升量子機器學習的可解釋性和效率的詳細內容。更多資訊請關注PHP中文網其他相關文章！
