目录
如何定义神经网络所建模的概念
神经网络是否建模了清晰、符号化的概念表征
神经网络的符号化表征在神经网络可解释性中的意义
首页 科技周边 人工智能 重新审视AI,神经网络中概念符号涌现的发现与证明

重新审视AI,神经网络中概念符号涌现的发现与证明

Apr 07, 2023 pm 09:51 PM
ai 神经网络

本文围绕近期的两项工作,讨论神经网络中符号概念的涌现现象,即『深度神经网络的表征是否是符号化的』的问题。如果我们绕开 “应用技术提升” 的视角,从 “科学发展” 的角度来重新审视 AI,证明 AI 模型中的符号涌现现象无疑是具有重大意义的。

1. 首先,目前大部分的可解释性研究都在试图将神经网络解释为一个 “清晰的”、“语义化的”、或 “逻辑化的” 模型。但是,如果无法证明神经网络的符号涌现,如果神经网络内在表征成分真的有大量的混乱成分,那么大部分的可解释性研究就失去了其基本事实依据。

2. 其次,如果无法证明神经网络的符号涌现,深度学习的发展将会大概率困在 “结构”、“损失函数”、“数据” 等外围因素的层面,而无法直接高层的认知层面去实现知识层面的交互式学习。往这个方向发展需要更干净清晰的理论支撑。

因此,本文主要从以下三个方面介绍。

1. 如何去定义神经网络所建模的符号化概念,从而可靠地发现神经网络的符号涌现现象。

2. 为什么所量化的符号化概念可以认为是可信的概念(稀疏性、对神经网络表征的 universal matching、迁移性、分类性、对历史解释性指标的解释)。

3. 如何证明符号化概念的涌现 —— 即理论证明当 AI 模型在某些情况下(一个并不苛刻的条件),AI 模型的表征逻辑可以解构为极少数的可迁移的符号化概念的分类效用(这部分会在 4 月底公开讨论)。

图片

论文地址:https://arxiv.org/pdf/2111.06206.pdf


图片

论文地址:https://arxiv.org/pdf/2302.13080.pdf

该研究作者包括上海交通大学硕士二年级学生李明杰、上海交通大学博士三年级学生任洁,李明杰和任洁都师从张拳石老师。他们所在的实验室团队常年做神经网络可解释性的研究。对于可解释性领域,研究者可以从不同角度来分析,有解释表征的,有解释性能的,有相对可靠合理的,也有不合理的。但是,深入讨论下去,对神经网络的解释有两个根本的愿景,即「能否清晰且严谨地表示出神经网络所建模的概念」「能否准确解释出决定神经网络性能的因素」。

在「解释神经网络所建模的概念」这一方向上,所有研究者都必须面对的一个核心问题 ——“神经网络的表征到底是不是符号化概念化的”。如果这个问题回答不清楚,那么后续的研究很难进行 —— 如果神经网络的表征本身都是混乱的,然后研究者强行用一堆 “符号化的概念” 或 “因果逻辑” 去解释,这样一来方向就错了?对神经网络符号化表征的假设,是进行深入研究该领域的基础,但是对此问题的论证往往让人无从下手。

大部分研究者对神经网络的第一直觉是 “它不可能是符号化的吧?” 神经网络毕竟不是图模型。在一篇由 Cynthia 等人撰写的论文中《Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead》 [3],,让人们误以为对神经网络的事后解释(post-hoc explanation)天然地是不可靠的。

那么,神经网络内在表征真的是非常混乱的?而不是清晰的、稀疏的、符号化的吗?围绕这个问题,我们定义了博弈交互 [4,5],证明了神经网络表征瓶颈 [6],研究了神经网络对视觉概念表征的特点 [7,8],从而证明了交互概念与神经网络泛化和鲁棒性的关系 [9,10,11,12],进而完善了沙普利值 [13],但是实验室前期仅仅围绕 “符号化表征” 核心的周边进行探索,始终无法直接探索神经网络表征是否是符号化的

这里我们先说结论 —— 在大部分情况下,神经网络的表征是清晰的、稀疏的、符号化的。这个结论背后有大量的理论证明,以及大量的实验论证。在理论方面,我们目前的研究证明了一些可以支撑 “符号化” 的特性,但是目前证明还不足以对 “符号化表征” 给出严谨明确的解答。未来几个月,我们会有更加严谨、全面的证明。

如何定义神经网络所建模的概念

在分析神经网络之前,我们需要明确 “如何定义网络所建模的概念”。实际上,对于这一问题,之前已经有了相关研究 [14,15],并且实验结果也比较优异 —— 但是,我们认为,“概念” 的定义在理论上应有 “严谨性” 的数学保证。

因此,我们在论文 [1] 中定义了 I(S) 这一指标,用来量化概念 S 对于网络输出的效用,这里 S 指的是组成这一概念的所有输入变量的集合。例如,给定一个神经网络和一个输入句子 x=“I think he is a green hand.”,每个单词可以看成网络的其中一个输入变量,句中的三个词 “a”,“green”,“hand” 可以构成一个潜在的概念 S={a,green,hand}。每个概念 S 表示了 S 中输入变量之间的 “与” 关系:当且仅当 S 中的输入变量全部出现时,这一概念才被触发,从而为网络输出贡献 I (S) 的效用。而当 S 中任意变量被遮挡时,I (S) 这部分效用就从原本的网络输出中移除了。例如,对于 S={a,green,hand} 这一概念,如果把输入句子中的 “hand” 一词遮挡,那么这一概念就不被触发,网络输出中也不会包含这一概念的效用 I (S)。

我们证明了神经网络输出总可以被拆分为所有触发概念效用之和。即在理论上,对于一个包含 n 个输入单元的样本,最多有

图片

 种不同的遮挡方式,我们总可以用『少量概念』的效用来『精确拟合』神经网络『所有

图片

种』不同遮挡样本上的输出值,从而证明了 I (S) 的『严谨性』。下图给了一个简单的例子。

图片

图片

进一步,我们在论文 [1] 中证明了 I (S) 满足博弈论中 7 条性质,进一步说明了这一指标的可靠性。

图片

除此以外,我们还证明了博弈交互概念 I (S) 能够解释博弈论中大量经典指标的基本机理,比如 Shapley value [16]、Shapley interaction index [17],以及 Shapley-Taylor interaction index [18]。具体地,我们可以将这三种指标表示为交互概念的不同线性和的形式。

图片

实际上,课题组的前期工作已经基于博弈交互概念指标来定义 Shapley value 的最优基准值 [13],并探索视觉神经网络所建模的『原型视觉概念』及其『美观度』[8]。

神经网络是否建模了清晰、符号化的概念表征

有了这一指标,我们进一步探索上面提到的核心问题:神经网络是否真的能从训练任务中总结出清晰的、符号化的、概念化的表征?所定义的交互概念真的能表示一些有意义的 “知识”,还是仅仅是一个纯粹从数学上凑出来的没有明确意义的 tricky metrics?为此,我们从以下四个方面回答这一问题 —— 符号化概念化的表征应当满足稀疏性、样本间迁移性、网络间迁移性,以及分类性。

要求一(概念稀疏性):神经网络所建模的概念应当是稀疏的

不同于连结主义,符号主义的一个特性在于人们希望用少量的、稀疏的概念来表示网络学到的知识,而不是用大量、稠密的概念。实验中我们发现,在大量潜在概念中,仅有非常少量的显著概念。即大部分交互概念的交互效用 I (S) 趋近于 0,故可以忽略,仅有极少量的交互概念有较显著的交互效用 I (S),这样神经网络的输出仅仅决定于少量概念的交互效用。换句话说,神经网络对于每个样本的推断可以被简洁地解释为少量显著概念的效用。

图片

要求二(样本间迁移性):神经网络所建模的概念在不同样本间应当具有迁移性

在单个样本上满足稀疏性是远远不够的,更重要的是,这些稀疏的概念表达应当能够在不同样本之间互相迁移。如果同一个交互概念可以在不同样本中表征,如果不同样本总提取出类似的交互概念,那么这个交互概念更可能代表一种有意义的普适的知识。反之,如果大部分交互概念仅仅在一两个特定样本上有表征,那么这样所定义的交互更倾向于一个仅有数学定义但没有物理意义的 tricky metric。在实验中,我们发现,往往存在一个较小的概念字典,它能够解释神经网络为同类别样本所建模的大部分概念。

图片

我们也可视化了一些概念,并且发现,相同的概念通常对不同的样本产生类似的效果,这也验证了概念在不同样本之间的迁移性。

图片

要求三(网络间迁移性):不同神经网络所建模的概念之间应当具有迁移性

类似地,这些概念应当能够被不同的神经网络稳定地学到,无论是不同初始化的网络,还是不同架构的网络。虽然神经网络可以设计为全然不同的架构,建模不同维数的特征,但是如果不同的神经网络面对同一个具体任务可以实现『殊途同归』,即如果不同神经网络都可以稳定地学习到类似的一组交互概念,那么我们可以认为这组交互概念是面向这个任务的根本的表征。比如,如果不同的人脸检测网络都不约而同地建模了眼睛、鼻子、嘴之间的交互,那么我们可以认为这样的交互是更 “本质的”“可靠的”。在实验中,我们发现,越显著的概念越容易被不同的网络同时学到,相对比例的显著交互是被不同神经网络所共同建模的。

图片

要求四(概念分类性):神经网络所建模的概念应当具有分类性

最后,对于分类任务而言,如果一个概念具有较高的分类性,那么它应当为大多数样本上的分类起到一致的正向作用(或是一致的负向作用)。较高的分类性可以验证这个概念可以独立地承担分类任务,从而更大可能的是一个可靠的概念,而不是不成熟的中间特征。我们同样设计了实验来验证这一性质,发现神经网络建模的概念往往具有较高的分类性。

图片

综上所述,上面的四个方面表明,在大部分情况下,神经网络的表征是清晰的、稀疏的、符号化的。当然,神经网络也并不是每时每刻都能够建模这种清晰、符号化的概念,在少数极端情况下,神经网络学不到稀疏、可迁移的概念,具体请看我们的论文 [2]。

此外,我们还利用此交互来解释了大模型[22]。

神经网络的符号化表征在神经网络可解释性中的意义

1. 从可解释性领域发展的角度来看,最直接的意义就是为 “概念层面解释神经网络” 找到了一定的依据。如果神经网络本身的表征都不是符号化的,那么从符号化概念层面对神经网络的解释就只能是隔靴搔痒,解释的结果一定是似是而非的,并不能实质性的推导深度学习进一步的发展。

2. 从 2021 年开始,我们逐步构建了一个基于博弈交互的理论体系。发现基于博弈交互,我们可以统一解释两个核心问题 “怎样量化神经网络所建模的知识” 和 “怎样解释神经网络的表征能力”。在 “怎样量化神经网络所建模的知识” 方向上,除了本文提到的两个工作之外,课题组的前期工作已经基于博弈交互概念指标,来定义 Shapley value 的最优基准值 [13],并探索视觉神经网络所建模的『原型视觉概念』及其『美观度』[7,8]。

3. 在 “怎样解释神经网络的表征能力” 方向上,课题组证明了神经网络对不同交互的表征瓶颈 [6],研究了神经网络如何通过其所建模的交互概念来确定其泛化性 [12,19],研究神经网络所建模的交互概念与其对抗鲁棒性和对抗迁移性的关系 [9,10,11,20],证明了贝叶斯神经网络更难以建模复杂交互概念 [21]。

更多阅读请参考:

​https://zhuanlan.zhihu.com/p/264871522/​

以上是重新审视AI,神经网络中概念符号涌现的发现与证明的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

Vue.js 中字符串转对象用什么方法? Vue.js 中字符串转对象用什么方法? Apr 07, 2025 pm 09:39 PM

Vue.js 中字符串转对象时,首选 JSON.parse() 适用于标准 JSON 字符串。对于非标准 JSON 字符串,可根据格式采用正则表达式和 reduce 方法或解码 URL 编码字符串后再处理。根据字符串格式选择合适的方法,并注意安全性与编码问题,以避免 bug。

Laravel的地理空间:互动图和大量数据的优化 Laravel的地理空间:互动图和大量数据的优化 Apr 08, 2025 pm 12:24 PM

利用地理空间技术高效处理700万条记录并创建交互式地图本文探讨如何使用Laravel和MySQL高效处理超过700万条记录,并将其转换为可交互的地图可视化。初始挑战项目需求:利用MySQL数据库中700万条记录,提取有价值的见解。许多人首先考虑编程语言,却忽略了数据库本身:它能否满足需求?是否需要数据迁移或结构调整?MySQL能否承受如此大的数据负载?初步分析:需要确定关键过滤器和属性。经过分析,发现仅少数属性与解决方案相关。我们验证了过滤器的可行性,并设置了一些限制来优化搜索。地图搜索基于城

偏远的高级后端工程师(平台)需要圈子 偏远的高级后端工程师(平台)需要圈子 Apr 08, 2025 pm 12:27 PM

远程高级后端工程师职位空缺公司:Circle地点:远程办公职位类型:全职薪资:$130,000-$140,000美元职位描述参与Circle移动应用和公共API相关功能的研究和开发,涵盖整个软件开发生命周期。主要职责独立完成基于RubyonRails的开发工作,并与React/Redux/Relay前端团队协作。为Web应用构建核心功能和改进,并在整个功能设计过程中与设计师和领导层紧密合作。推动积极的开发流程,并确定迭代速度的优先级。要求6年以上复杂Web应用后端

Vue和Element-UI级联下拉框v-model绑定 Vue和Element-UI级联下拉框v-model绑定 Apr 07, 2025 pm 08:06 PM

Vue和Element-UI级联下拉框v-model绑定常见的坑点:v-model绑定的是一个代表级联选择框各级选中值的数组,而不是字符串;selectedOptions初始值必须为空数组,不可为null或undefined;动态加载数据需要使用异步编程技巧,处理好异步中的数据更新;针对庞大数据集,需要考虑使用虚拟滚动、懒加载等性能优化技术。

Vue.js 如何将字符串类型的数组转换为对象数组? Vue.js 如何将字符串类型的数组转换为对象数组? Apr 07, 2025 pm 09:36 PM

总结:将 Vue.js 字符串数组转换为对象数组有以下方法:基本方法:使用 map 函数,适合格式规整的数据。高级玩法:使用正则表达式,可处理复杂格式,但需谨慎编写,考虑性能。性能优化:考虑大数据量,可使用异步操作或高效数据处理库。最佳实践:清晰的代码风格,使用有意义的变量名、注释,保持代码简洁。

mysql安装后怎么使用 mysql安装后怎么使用 Apr 08, 2025 am 11:48 AM

文章介绍了MySQL数据库的上手操作。首先,需安装MySQL客户端,如MySQLWorkbench或命令行客户端。1.使用mysql-uroot-p命令连接服务器,并使用root账户密码登录;2.使用CREATEDATABASE创建数据库,USE选择数据库;3.使用CREATETABLE创建表,定义字段及数据类型;4.使用INSERTINTO插入数据,SELECT查询数据,UPDATE更新数据,DELETE删除数据。熟练掌握这些步骤,并学习处理常见问题和优化数据库性能,才能高效使用MySQL。

如何设置Vue Axios的超时时间 如何设置Vue Axios的超时时间 Apr 07, 2025 pm 10:03 PM

为了设置 Vue Axios 的超时时间,我们可以创建 Axios 实例并指定超时选项:在全局设置中:Vue.prototype.$axios = axios.create({ timeout: 5000 });在单个请求中:this.$axios.get('/api/users', { timeout: 10000 })。

mysql安装后怎么优化数据库性能 mysql安装后怎么优化数据库性能 Apr 08, 2025 am 11:36 AM

MySQL性能优化需从安装配置、索引及查询优化、监控与调优三个方面入手。1.安装后需根据服务器配置调整my.cnf文件,例如innodb_buffer_pool_size参数,并关闭query_cache_size;2.创建合适的索引,避免索引过多,并优化查询语句,例如使用EXPLAIN命令分析执行计划;3.利用MySQL自带监控工具(SHOWPROCESSLIST,SHOWSTATUS)监控数据库运行状况,定期备份和整理数据库。通过这些步骤,持续优化,才能提升MySQL数据库性能。

See all articles