编辑 | ScienceAI
深度学习模型由于其可以从海量数据中学习潜在关系的能力而在科学研究领域产生了深远影响。然而，纯粹依赖数据的模型逐渐显露出其局限性，包括对数据的过度依赖、泛化能力的限制以及与现实物理世界的一致性问题。这些问题推动着研究者探索更具解释性和可解释性的模型，以弥补数据驱动模型的不足。因此，结合领域知识和数据驱动方法，构建更具可解释性和泛化能力的模型成为当前科学研究的重要方向。这种
例如，美国OpenAI公司开发的文本到视频模型Sora因其出色的图像生成能力而备受赞誉，被认为是人工智能领域的重要进展。尽管能够生成逼真的图像和视频，Sora在处理物理定律方面仍存在一些挑战，比如重力和物体碎裂等。虽然Sora在模拟现实场景方面取得了显著进展，但在理解和准确模拟物理规律方面还有改进的空间。AI技术的发展仍需要不断努力，以提高模型的全面性和准确性，从而更好地适应各种现实世界的情境。
解决这一问题的一个潜在途径是将人类知识融入深度学习模型中。通过结合先验知识和数据，可以增强模型的泛化能力，从而产生能够理解物理规律的「知情机器学习」（Informed machine learning）模型。这种方法有望提高模型的性能和准确性，使其能够更好地应对现实世界中的复杂问题。通过将人类专家的经验和洞察力融入机器学习算法，我们可以建立更加智能和高效的系统，从而推动人工智能技术的发展和应用。
目前，对深度学习中知识的确切价值仍然缺乏深入探讨。在确定哪些先验知识可以有效地整合到模型中以进行“预学习”方面，存在着一个急需解决的难题。同时，盲目地融合多项规则可能导致模型的失效，这一点也是需要引起重视的。这些限制给数据与知识关系的深入探索带来了挑战。
针对这一问题，东方理工（EIT）和北京大学的研究团队提出了「规则重要性」的概念，并开发了一套框架，能精确计算每个规则对模型预测精度的贡献。该框架不仅揭示了数据和知识之间的复杂相互作用关系，为知识嵌入提供了理论性指导，还有助于在训练过程中平衡知识和数据的影响。此外，该方法还可用于识别不恰当的先验规则，为交叉学科领域的研究与应用提供广阔前景。
这项研究题为“Prior Knowledge's Impact on Deep Learning”，已于2024年3月8日在 Cell 出版社旗下的跨学科期刊《Nexus》上发表。该研究受到了 AAAS（美国科学促进会）和 EurekAlert! 的关注报道。
在教授孩子拼图时，既可以让他们通过反复试验来找出答案，也可以用一些基本的规则和技巧来引导他们。同样地，将规则和技巧——比如物理定律——融入到人工智能训练中能让它们更贴近现实，运作更高效。然而，如何评估这些规则在人工智能中的价值，一直是困扰研究者的难题。
鉴于先验知识的丰富多样性，将先验知识融入深度学习模型是一个复杂的多目标优化任务。研究团队创新性地提出了一个框架，以量化不同先验知识在提高深度学习模型方面的作用。他们将此过程视为充满合作与竞争的博弈，通过评估规则对模型预测的边际贡献来界定其重要性。首先生成所有可能的规则组合（即「联盟」），并对每个组合构建模型，并计算均方误差。
为降低计算成本，他们采用了一种基于扰动的高效算法：先训练一个完全基于数据的神经网络作为基线模型，然后逐一加入各个规则组合进行额外训练，最后在测试数据上评估模型表现。通过比较模型在包含和不包含某个规则的所有联盟中的表现，可以计算出该规则的边际贡献，进而得出其重要性。
透過流體力學的算例，研究人員探討了資料與規則間的複雜關係。他們發現，在不同任務中，資料和先驗規則的作用完全不同。當測試資料與訓練資料分佈相近時（即 In-distribution），資料量的增加會削弱規則的功能。
然而，當測試資料與訓練資料分佈相似度較低時（即 Out-of-distribution），全域規則的重要性被凸顯出來，而局部規則的影響則被削弱。這兩類規則的差異在於：全域規則（如控制方程式）影響整個域，而局部規則（如邊界條件）僅作用於特定區域。
圖示：規則重要性與資料量之間的關係（資料來源：論文）研究團隊經數值實驗發現，在知識嵌入中，規則間有三種交互作用效應：依賴效應、綜效和替代效應。
依賴效應指某些規則需依賴其他規則才能有效；協同效應顯示多條規則共同作用的效果超越各自獨立作用時的總和；替代效應則顯示一條規則的功能可能被資料或其他規則替代。
這三種效應同時存在，並受到資料量的影響。透過計算規則重要性，可清楚展現這些效應，為知識嵌入提供重要指引。
在應用層面，研究團隊試圖解決知識嵌入過程中的一個核心問題：如何平衡資料與規則的作用，以提升嵌入效率並篩選出不適合的先驗知識。在模型的訓練過程中，團隊提出了一個動態調整規則權重的策略。
具體而言，隨著訓練迭代步的增加，逐漸增加正重要性規則的權重，同時減少負重要性規則的權重。這種策略能夠根據優化過程的需求，即時調整模型對不同規則的關注度，從而實現更有效率和準確的知識嵌入。
此外，向 AI 模型傳授物理定律可以使它們「更貼近現實世界，從而在科學和工程領域發揮更大作用」。因此，該框架在工程、物理和化學領域具有廣泛的實際應用。研究人員不僅優化了機器學習模型來解多元方程，也能精確地辨識出對薄層層析分析預測模型表現有提升效果的規則。
實驗結果顯示，透過融入這些有效規則，模型的效能得到了顯著提升，測試資料集上的均方誤差從 0.052 降低至 0.036（減少了 30.8%）。這意味著該框架可以將經驗性見解轉化為結構化知識，從而顯著提升模型效能。
整體而言，準確評估知識的價值有助於建立更契合現實的AI模型，提高安全性和可靠性，對深度學習發展具有重要意義。
圖示：透過規則重要性以識別有效的規則（來源：論文）接下來，研究團隊計畫將他們的框架發展成可供人工智慧開發人員使用的插件工具。他們的最終目標是開發出能夠直接從資料中提取知識和規則，進而自我完善的模型，從而打造一個從知識發現到知識嵌入的閉環系統，使模型成為真正的人工智慧科學家。
論文連結：https://www.cell.com/nexus/fulltext/S2950-1601(24)00001-9
AAAS 報告連結：https://www.eurekalert. org/news-releases/1036117以上是如何把大量物理知識塞給AI？ EIT和北大團隊提出「規則重要性」概念的詳細內容。更多資訊請關注PHP中文網其他相關文章！
