国科大&首师大合作综述:揭示「白盒」张量网络如何提升量子机器学习的可解释性和效率
编辑| 紫罗
AI 的各个领域中,深度机器学习已经取得了显着的成功,但同时实现高可解释性和高效率仍然是一个严峻的挑战
张量网络,即Tensor Network(TN),起源于量子力学,是一种成熟的数学工具。在开发高效的“白盒”机器学习方案方面,它展示了独特的优势
近日,首都师范大学的冉仕举和中国科学院大学的苏刚从量子力学中汲取灵感,综述了一种基于TN 的创新方法,为协调深度机器学习的可解释性和效率这一长期挑战提供了一个有前景的解决方案。
一方面,TN ML 的可解释性可以通过基于量子信息和多体物理的坚实理论基础来实现。另一方面,强大的TN表达和量子多体物理中开发的先进计算技术可以获得高效率。随着量子计算机的快速发展,TN有望在不久的将来朝着「量子AI」的方向产生可在量子硬件上运行的新颖方案
该综述以《Tensor Networks for Interpretable and Efficient Quantum-Inspired Machine Learning 》为题,于2023 年11 月17 日发表在《Intelligent Computing》上。
论文链接:https://spj.science.org/doi/10.34133/icomputing.0061
深度学习模型,特别是神经网络模型,常常被称为「黑匣子」,因为它们的决策过程复杂且难以解释。神经网络是目前最强大的深度学习模型。展示其强大功能的一个典型例子是GPT。然而,由于缺乏可解释性,即使是GPT也面临着稳健性和隐私保护等严重问题
这些模型缺乏可解释性可能会导致人们对其预测和决策缺乏信任,从而限制了它们在重要领域的实际应用
基于量子信息和多体物理的张量网络为ML 提供了「白盒」方法。研究人员表示:「张量网络在将量子概念、理论和方法与ML 联系起来以及有效实现基于张量网络的ML 方面发挥着至关重要的作用。」
来自量子物理学的强大的「白盒」数学工具 Quantum physics has brought forth powerful "white box" mathematical tools.
随着经典计算和量子计算的快速发展,TN 为克服可解释性和效率之间的困境提供了新的思路。 TN 被定义为多个张量的收缩。它的网络结构决定了张量收缩的方式。
在图1中,展示了三种类型的TN的图解表示。这三种类型分别是矩阵乘积态(MPS)表示、树型TN以及投影纠缠对态(PEPS)表示
图1:3 种类型的TN 的图解表示:(A)MPS、(B )树TN 和(C)PEPS。 (来源:论文)
TN 作为大规模量子系统状态的有效表示,在量子力学领域取得了显着的成功。在 TN 理论中,满足纠缠熵面积定律的状态可以通过具有有限键维数的 TN 表示来有效地近似。
基于 MPS 的算法,包括密度矩阵重整化组和时间演化块抽取 ,在模拟纠缠熵时表现出显着的效率。此外,MPS 还可以表示许多广泛应用于量子信息处理和计算中的人工构造的状态,例如 Greenberger–Horne–Zeilinger 状态和 W状态。
PEPS 表示遵守二维及更高维度的面积定律,并在高维量子系统研究中取得了巨大的成功。总之,纠缠熵的面积定律为模拟量子系统的TN的表示或计算能力提供了内在的解释。这种解释也适用于TN ML。此外,TN作为一种"白盒"数值工具(Born机器),类似于ML的(经典)概率模型,可以通过玻恩的量子概率解释(也被称为玻恩规则)来解释
图片2:采用MPS(Tensor Train形式)可以有效地表示或者公式化大量数学对象。 (引自:论文)
受到量子启发的机器学习的技术进展 (Technological advancements in machine learning inspired by quantum)
TN提供了一种新的方法来解决机器学习中可解释性和效率之间的困境,这得益于其完善的理论和有效的方法。目前,有两条相互纠缠的研究路线正在争论中:
- 量子理论如何作为 TN ML 可解释性的数学基础?
- 量子力学 TN 方法和量子计算技术如何产生高效的T N ML 方案?
在这篇内容中,研究人员从特征映射、建模和基于量子计算的 ML 的角度介绍了最近在量子启发 ML 方面取得的令人鼓舞的进展,围绕这两个问题展开了讨论。这些进展与使用 TN 在提高效率和可解释性方面的优势密切相关。这些 ML 方案通常被称为「量子启发」,因为它们的理论、模型和方法源自量子物理学或受其启发。然而,我们需要更多努力来开发基于量子物理学的可解释性系统框架
在下面的表格中,总结了关于TN ML的主要方法以及它们与效率和可解释性之间的关系
强化经典机器学习的技术网络
作为一种基本的数学工具,神经网络在 ML 中的应用并不局限于那些遵循量子概率解释的应用。鉴于 TN 可用于有效地表示和模拟经典随机系统的配分函数,如 Ising 和 Potts 模型,TN 与玻尔兹曼机之间的关系已被广泛研究。
TN还被用来增强NN并开发新颖的ML模型,忽略任何概率解释。 重新写成中文: TN还被用于增强NN并开发新颖的ML模型,无视任何概率解释
基于同样的基础,模型压缩方法被提出来将 NN 的变分参数分解为 TN 或直接将变分参数表示为 TN。后者可能不需要显式分解过程,其中神经网络的参数不会恢复为张量,而是直接恢复为 TT 形式 、矩阵乘积算子或深度 TN。非线性激活函数已添加到 TN 中,以提高其 ML 性能,将 TN 从多线性模型推广到非线性模型。
需要重写的内容是: 结论
长期以来,人们一直关注解决人工智能(尤其是深度机器学习)在效率和可解释性之间的困境。在这方面,我们回顾了TN取得的令人鼓舞的进展,这是一种可解释且高效的量子启发式机器学习方法
图 3 中的「N ML butterfly」列出了 TN 在 ML 方面的优势。对于量子启发的 ML,TN 的优势可以从两个关键方面来总结:用于可解释性的量子理论和用于提高效率的量子方法。一方面,TN 使我们能够应用统计学和量子理论(例如纠缠理论)来构建可解释性的概率框架,这可能超出经典信息或统计理论的描述。另一方面,强大的量子力学 TN 算法和大幅增强的量子计算技术将使量子启发的 TN ML 方法在经典和量子计算平台上都具有高效率。
图 3:「TN ML butterfly」总结了 2 个独特优势:基于量子理论的可解释性(左翼)和基于量子方法的效率(右翼)。(来源:论文)
特别是,随着最近在GPT领域的显著进展,模型复杂度和计算能力都出现了前所未有的激增,这为TN ML带来了新的机遇和挑战。在面对新兴的GPT AI时,可解释性变得越来越有价值,不仅可以提高研究效率,还可以更好地应用和更加安全地控制
在当前的NISQ时代和即将到来的真正的量子计算时代,TN正在迅速成长为探索量子人工智能的重要数学工具,从理论、模型、算法、软件、硬件和应用等各个角度
参考内容:https://techxplore.com/news/2023-11-tensor-networks-efficiency-quantum-inspired-machine.html
以上是国科大&首师大合作综述:揭示「白盒」张量网络如何提升量子机器学习的可解释性和效率的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

但可能打不过公园里的老大爷?巴黎奥运会正在如火如荼地进行中,乒乓球项目备受关注。与此同时,机器人打乒乓球也取得了新突破。刚刚,DeepMind提出了第一个在竞技乒乓球比赛中达到人类业余选手水平的学习型机器人智能体。论文地址:https://arxiv.org/pdf/2408.03906DeepMind这个机器人打乒乓球什么水平呢?大概和人类业余选手不相上下:正手反手都会:对手采用多种打法,该机器人也能招架得住:接不同旋转的发球:不过,比赛激烈程度似乎不如公园老大爷对战。对机器人来说,乒乓球运动

开学将至,该收心的不止有即将开启新学期的同学,可能还有AI大模型。前段时间,Reddit上挤满了吐槽Claude越来越懒的网友。「它的水平下降了很多,经常停顿,甚至输出也变得很短。在发布的第一周,它可以一次性翻译整整4页文稿,现在连半页都输出不了了!」https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/在一个名为「对Claude彻底失望了的帖子里」,满满地

8月21日,2024世界机器人大会在北京隆重召开。商汤科技旗下家用机器人品牌“元萝卜SenseRobot”家族全系产品集体亮相,并最新发布元萝卜AI下棋机器人——国际象棋专业版(以下简称“元萝卜国象机器人”),成为全球首个走进家庭的国际象棋机器人。作为元萝卜的第三款下棋机器人产品,全新的国象机器人在AI和工程机械方面进行了大量专项技术升级和创新,首次在家用机器人上实现了通过机械爪拾取立体棋子,并进行人机对弈、人人对弈、记谱复盘等功能,

正在北京举行的世界机器人大会上,人形机器人的展示成为了现场绝对的焦点,在星尘智能的展台上,由于AI机器人助理S1在一个展区上演扬琴、武术、书法三台大戏,能文能武,吸引了大量专业观众和媒体的驻足。在带弹性的琴弦上的优雅演奏,让S1展现出速度、力度、精度兼具的精细操作和绝对掌控。央视新闻对「书法」背后的模仿学习和智能控制进行了专题报道,公司创始人来杰解释到,丝滑动作的背后,是硬件侧追求最好力控和最仿人身体指标(速度、负载等),而是在AI侧则采集人的真实动作数据,让机器人遇强则强,快速学习进化。而敏捷

视觉与机器人学习的深度融合。当两只机器手丝滑地互相合作叠衣服、倒茶、将鞋子打包时,加上最近老上头条的1X人形机器人NEO,你可能会产生一种感觉:我们似乎开始进入机器人时代了。事实上,这些丝滑动作正是先进机器人技术+精妙框架设计+多模态大模型的产物。我们知道,有用的机器人往往需要与环境进行复杂精妙的交互,而环境则可被表示成空间域和时间域上的约束。举个例子,如果要让机器人倒茶,那么机器人首先需要抓住茶壶手柄并使之保持直立,不泼洒出茶水,然后平稳移动,一直到让壶口与杯口对齐,之后以一定角度倾斜茶壶。这

本届ACL大会,投稿者「收获满满」。为期六天的ACL2024正在泰国曼谷举办。ACL是计算语言学和自然语言处理领域的顶级国际会议,由国际计算语言学协会组织,每年举办一次。一直以来,ACL在NLP领域的学术影响力都位列第一,它也是CCF-A类推荐会议。今年的ACL大会已是第62届,接收了400余篇NLP领域的前沿工作。昨天下午,大会公布了最佳论文等奖项。此次,最佳论文奖7篇(两篇未公开)、最佳主题论文奖1篇、杰出论文奖35篇。大会还评出了资源论文奖(ResourceAward)3篇、社会影响力奖(

今天下午,鸿蒙智行正式迎来了新品牌与新车。 8月6日,华为举行鸿蒙智行享界S9及华为全场景新品发布会,带来了全景智慧旗舰轿车享界S9、问界新M7Pro和华为novaFlip、MatePadPro12.2英寸、全新MatePadAir、华为毕升激光打印机X1系列、FreeBuds6i、WATCHFIT3和智慧屏S5Pro等多款全场景智慧新品,从智慧出行、智慧办公到智能穿戴,华为全场景智慧生态持续构建,为消费者带来万物互联的智慧体验。鸿蒙智行:深度赋能,推动智能汽车产业升级华为联合中国汽车产业伙伴,为

人工智能的发展速度可能超乎你的想象。自GPT-4将多模态技术引入公众视野以来,多模态大模型进入快速发展阶段,逐渐从单纯的模型研发转向垂直领域的探索和应用,与各行各业深度融合。在界面交互领域,谷歌、苹果等国际科技巨头纷纷投入UI多模态大模型研发,这被视为手机AI革命的必经之路。在此背景下,国内首个UI大模型横空出世。8月17日,在IXDC2024国际体验设计大会上,AI时代设计工具Motiff妙多推出了其自主研发的UI多模态大模型——Motiff妙多大模型。这是全球首个由UI设计工具
