如何把大量物理知识塞给AI?EIT和北大团队提出「规则重要性」概念
编辑 | ScienceAI
深度学习模型由于其可以从海量数据中学习潜在关系的能力而在科学研究领域产生了深远影响。然而,纯粹依赖数据的模型逐渐显露出其局限性,包括对数据的过度依赖、泛化能力的限制以及与现实物理世界的一致性问题。这些问题推动着研究者探索更具解释性和可解释性的模型,以弥补数据驱动模型的不足。因此,结合领域知识和数据驱动方法,构建更具可解释性和泛化能力的模型成为当前科学研究的重要方向。这种
例如,美国OpenAI公司开发的文本到视频模型Sora因其出色的图像生成能力而备受赞誉,被认为是人工智能领域的重要进展。尽管能够生成逼真的图像和视频,Sora在处理物理定律方面仍存在一些挑战,比如重力和物体碎裂等。虽然Sora在模拟现实场景方面取得了显着进展,但在理解和准确模拟物理规律方面还有改进的空间。 AI技术的发展仍需要不断努力,以提高模型的全面性和准确性,从而更好地适应各种现实世界的情境。
解决这一问题的一个潜在途径是将人类知识融入深度学习模型中。通过结合先验知识和数据,可以增强模型的泛化能力,从而产生能够理解物理规律的「知情机器学习」(Informed machine learning)模型。这种方法有望提高模型的性能和准确性,使其能够更好地应对现实世界中的复杂问题。通过将人类专家的经验和洞察力融入机器学习算法,我们可以建立更加智能和高效的系统,从而推动人工智能技术的发展和应用。
目前,对深度学习中知识的确切价值仍然缺乏深入探讨。在确定哪些先验知识可以有效地整合到模型中以进行“预学习”方面,存在着一个急需解决的难题。同时,盲目地融合多项规则可能导致模型的失效,这一点也是需要引起重视的。这些限制给数据与知识关系的深入探索带来了挑战。
针对这一问题,东方理工(EIT)和北京大学的研究团队提出了「规则重要性」的概念,并开发了一套框架,能精确计算每个规则对模型预测精度的贡献。该框架不仅揭示了数据和知识之间的复杂相互作用关系,为知识嵌入提供了理论性指导,还有助于在训练过程中平衡知识和数据的影响。此外,该方法还可用于识别不恰当的先验规则,为交叉学科领域的研究与应用提供广阔前景。
这项研究题为“Prior Knowledge's Impact on Deep Learning”,已于2024年3月8日在 Cell 出版社旗下的跨学科期刊《Nexus》上发表。该研究受到了 AAAS(美国科学促进会)和 EurekAlert! 的关注报道。
在教授孩子拼图时,既可以让他们通过反复试验来找出答案,也可以用一些基本的规则和技巧来引导他们。同样地,将规则和技巧——比如物理定律——融入到人工智能训练中能让它们更贴近现实,运作更高效。然而,如何评估这些规则在人工智能中的价值,一直是困扰研究者的难题。
鉴于先验知识的丰富多样性,将先验知识融入深度学习模型是一个复杂的多目标优化任务。研究团队创新性地提出了一个框架,以量化不同先验知识在提高深度学习模型方面的作用。他们将此过程视为充满合作与竞争的博弈,通过评估规则对模型预测的边际贡献来界定其重要性。首先生成所有可能的规则组合(即「联盟」),并对每个组合构建模型,并计算均方误差。
为降低计算成本,他们采用了一种基于扰动的高效算法:先训练一个完全基于数据的神经网络作为基线模型,然后逐一加入各个规则组合进行额外训练,最后在测试数据上评估模型表现。通过比较模型在包含和不包含某个规则的所有联盟中的表现,可以计算出该规则的边际贡献,进而得出其重要性。
通过流体力学的算例,研究人员探讨了数据与规则间的复杂关系。他们发现,在不同任务中,数据和先验规则的作用完全不同。当测试数据与训练数据分布相近时(即 In-distribution),数据量的增加会削弱规则的作用。
然而,当测试数据与训练数据分布相似度较低时(即 Out-of-distribution),全局规则的重要性被凸显出来,而局部规则的影响则被削弱。这两类规则的区别在于:全局规则(如控制方程)影响整个域,而局部规则(如边界条件)仅作用于特定区域。
研究团队经数值实验发现,在知识嵌入中,规则间存在三种相互作用效应:依赖效应、协同效应和替代效应。
依赖效应指某些规则需依赖其他规则才能有效;协同效应表明多条规则共同作用的效果超越各自独立作用时的总和;替代效应则显示一条规则的功能可能被数据或其他规则替代。
这三种效应同时存在,并受到数据量的影响。通过计算规则重要性,可清晰展示这些效应,为知识嵌入提供重要指导。
在应用层面,研究团队试图解决知识嵌入过程中的一个核心问题:如何平衡数据与规则的作用,以提升嵌入效率并筛选出不适宜的先验知识。在模型的训练过程中,该团队提出了一种动态调整规则权重的策略。
具体而言,随着训练迭代步的增加,逐渐增大正重要性规则的权重,同时减小负重要性规则的权重。这种策略能够根据优化过程的需求,实时调整模型对不同规则的关注度,从而实现更加高效和准确的知识嵌入。
此外,向 AI 模型传授物理定律可以使它们「更加贴近现实世界,从而在科学和工程领域发挥更大作用」。因此,该框架在工程、物理和化学领域具有广泛的实际应用。研究人员不仅优化了机器学习模型来求解多元方程,还准确识别出对薄层色谱分析预测模型性能有提升效果的规则。
实验结果显示,通过融入这些有效规则,模型的性能得到了显著提升,测试数据集上的均方误差从 0.052 降低至 0.036(减少了 30.8%)。这意味着该框架可以将经验性见解转化为结构化知识,从而显著提升模型性能。
总体而言,准确评估知识的价值有助于构建更契合现实的AI模型,提高安全性和可靠性,对深度学习发展具有重要意义。
接下来,研究团队计划将他们的框架开发成可供人工智能开发人员使用的插件工具。他们的最终目标是开发出能够直接从数据中提取知识和规则,进而自我完善的模型,从而打造一个从知识发现到知识嵌入的闭环系统,使模型成为真正的人工智能科学家。
论文链接:https://www.cell.com/nexus/fulltext/S2950-1601(24)00001-9
以上是如何把大量物理知识塞给AI?EIT和北大团队提出「规则重要性」概念的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

在现代制造业中,精准的缺陷检测不仅是保证产品质量的关键,更是提升生产效率的核心。然而,现有的缺陷检测数据集常常缺乏实际应用所需的精确度和语义丰富性,导致模型无法识别具体的缺陷类别或位置。为了解决这一难题,由香港科技大学广州和思谋科技组成的顶尖研究团队,创新性地开发出了“DefectSpectrum”数据集,为工业缺陷提供了详尽、语义丰富的大规模标注。如表一所示,相比其他工业数据集,“DefectSpectrum”数据集提供了最多的缺陷标注(5438张缺陷样本),最细致的缺陷分类(125种缺陷类别

开放LLM社区正是百花齐放、竞相争鸣的时代,你能看到Llama-3-70B-Instruct、QWen2-72B-Instruct、Nemotron-4-340B-Instruct、Mixtral-8x22BInstruct-v0.1等许多表现优良的模型。但是,相比于以GPT-4-Turbo为代表的专有大模型,开放模型在很多领域依然还有明显差距。在通用模型之外,也有一些专精关键领域的开放模型已被开发出来,比如用于编程和数学的DeepSeek-Coder-V2、用于视觉-语言任务的InternVL

对于AI来说,奥数不再是问题了。本周四,谷歌DeepMind的人工智能完成了一项壮举:用AI做出了今年国际数学奥林匹克竞赛IMO的真题,并且距拿金牌仅一步之遥。上周刚刚结束的IMO竞赛共有六道赛题,涉及代数、组合学、几何和数论。谷歌提出的混合AI系统做对了四道,获得28分,达到了银牌水平。本月初,UCLA终身教授陶哲轩刚刚宣传了百万美元奖金的AI数学奥林匹克竞赛(AIMO进步奖),没想到7月还没过,AI的做题水平就进步到了这种水平。IMO上同步做题,做对了最难题IMO是历史最悠久、规模最大、最负

编辑|ScienceAI问答(QA)数据集在推动自然语言处理(NLP)研究发挥着至关重要的作用。高质量QA数据集不仅可以用于微调模型,也可以有效评估大语言模型(LLM)的能力,尤其是针对科学知识的理解和推理能力。尽管当前已有许多科学QA数据集,涵盖了医学、化学、生物等领域,但这些数据集仍存在一些不足。其一,数据形式较为单一,大多数为多项选择题(multiple-choicequestions),它们易于进行评估,但限制了模型的答案选择范围,无法充分测试模型的科学问题解答能力。相比之下,开放式问答

编辑|ScienceAI基于有限的临床数据,数百种医疗算法已被批准。科学家们正在讨论由谁来测试这些工具,以及如何最好地进行测试。DevinSingh在急诊室目睹了一名儿科患者因长时间等待救治而心脏骤停,这促使他探索AI在缩短等待时间中的应用。Singh利用了SickKids急诊室的分诊数据,与同事们建立了一系列AI模型,用于提供潜在诊断和推荐测试。一项研究表明,这些模型可以加快22.3%的就诊速度,将每位需要进行医学检查的患者的结果处理速度加快近3小时。然而,人工智能算法在研究中的成功只是验证此

编辑|KX时至今日,晶体学所测定的结构细节和精度,从简单的金属到大型膜蛋白,是任何其他方法都无法比拟的。然而,最大的挑战——所谓的相位问题,仍然是从实验确定的振幅中检索相位信息。丹麦哥本哈根大学研究人员,开发了一种解决晶体相问题的深度学习方法PhAI,利用数百万人工晶体结构及其相应的合成衍射数据训练的深度学习神经网络,可以生成准确的电子密度图。研究表明,这种基于深度学习的从头算结构解决方案方法,可以以仅2埃的分辨率解决相位问题,该分辨率仅相当于原子分辨率可用数据的10%到20%,而传统的从头算方

编辑|KX在药物研发领域,准确有效地预测蛋白质与配体的结合亲和力对于药物筛选和优化至关重要。然而,目前的研究没有考虑到分子表面信息在蛋白质-配体相互作用中的重要作用。基于此,来自厦门大学的研究人员提出了一种新颖的多模态特征提取(MFE)框架,该框架首次结合了蛋白质表面、3D结构和序列的信息,并使用交叉注意机制进行不同模态之间的特征对齐。实验结果表明,该方法在预测蛋白质-配体结合亲和力方面取得了最先进的性能。此外,消融研究证明了该框架内蛋白质表面信息和多模态特征对齐的有效性和必要性。相关研究以「S

作者|香港中文大学白帆编辑|ScienceAI近日,香港中文大学和智源联合提出的M3D系列工作,包括M3D-Data,M3D-LaMed和M3D-Bench,从数据集、模型和测评全方面推动3D医学图像分析的发展。(1)M3D-Data是目前最大的3D医学图像数据集,包括M3D-Cap(120K3D图文对),M3D-VQA(510K问答对),M3D-Seg(150K3DMask),M3D-RefSeg(3K推理分割)共四个子数据集。(2)M3D-LaMed是目前最多功能的3D医学多模态大模型,能够
