AIに多くの物理知識を与えるにはどうすればよいでしょうか? EITと北京大学のチームが「ルールの重要性」という概念を提案

編集者 | ScienceAI

ディープ ラーニング モデルは、大量のデータから潜在的な関係を学習できるため、科学研究の分野に大きな影響を与えてきました。ただし、純粋にデータに依存するモデルでは、データへの過度の依存、汎化機能の制限、現実の物理世界との一貫性の問題など、その限界が徐々に明らかになります。これらの問題により、研究者はデータ駆動型モデルの欠点を補うために、より解釈可能で説明可能なモデルを模索するようになりました。したがって、ドメイン知識とデータ駆動型手法を組み合わせて、より解釈可能性と一般化機能を備えたモデルを構築することが、現在の科学研究における重要な方向性となっています。この

たとえば、アメリカの企業 OpenAI によって開発されたテキストからビデオへのモデル Sora は、その優れた画像生成機能が高く評価されており、人工知能の分野における重要な進歩と考えられています。 Sora はリアルな画像やビデオを生成できるにもかかわらず、重力や物体の断片化などの物理法則に対処するという点でまだ課題がいくつかあります。 Sora は現実のシナリオのシミュレーションにおいて大幅な進歩を遂げましたが、物理法則の理解と正確なシミュレーションにおいてはまだ改善の余地があります。 AI テクノロジーの開発には、現実世界のさまざまな状況によりよく適応できるようにモデルの包括性と精度を向上させるための継続的な努力が依然として必要です。

この問題を解決する可能性のある方法の 1 つは、人間の知識を深層学習モデルに組み込むことです。事前の知識とデータを組み合わせることでモデルの一般化能力が強化され、物理法則を理解できる「インフォームド機械学習」モデルが実現します。このアプローチにより、モデルのパフォーマンスと精度が向上し、現実世界の複雑な問題にうまく対処できるようになると期待されています。人間の専門家の経験と洞察を機械学習アルゴリズムに統合することで、よりインテリジェントで効率的なシステムを構築でき、それによって人工知能技術の開発と応用を促進できます。

現時点では、ディープラーニングにおける知識の正確な価値についての詳細な調査はまだ不足しています。どのような事前知識を「事前学習」のモデルに効果的に組み込むことができるかを決定することには緊急の問題があります。同時に、複数のルールをやみくもに統合するとモデルの失敗につながる可能性があり、これにも注意が必要です。これらの制限は、データと知識の関係を深く探求する際に課題をもたらします。

この問題に対応して、東方工科大学（EIT）と北京大学の研究チームは「ルールの重要性」という概念を提案し、各ルールが予測に与える影響を正確に計算できるフレームワークを開発しました。モデルの精度に貢献します。このフレームワークは、データと知識の間の複雑な相互作用を明らかにし、知識の埋め込みに関する理論的なガイダンスを提供するだけでなく、トレーニング プロセス中に知識とデータの影響のバランスを取るのにも役立ちます。さらに、この方法は不適切なアプリオリなルールを特定するためにも使用でき、学際的な分野での研究と応用に幅広い展望をもたらします。

「ディープラーニングに対する事前知識の影響」と題されたこの研究は、2024 年 3 月 8 日に Cell Press 傘下の学際ジャーナル「Nexus」に掲載されました。この研究は、AAAS (米国科学振興協会) と EurekAlert! から注目されました。

子供たちにパズルを教えるときは、試行錯誤を通じて答えを見つけさせたり、基本的なルールやテクニックを教えたりすることができます。同様に、物理法則などのルールやテクニックを AI トレーニングに組み込むことで、AI トレーニングをより現実的かつ効率的にすることができます。しかし、人工知能におけるこれらのルールの価値をどのように評価するかは、常に研究者を悩ませてきた問題です。

事前知識の多様性が豊富であることを考慮すると、事前知識を深層学習モデルに統合することは、複雑な多目的最適化タスクです。研究チームは、深層学習モデルの改善におけるさまざまな事前知識の役割を定量化するフレームワークを革新的に提案しています。彼らはこのプロセスを協力と競争に満ちたゲームと見なし、モデル予測へのわずかな貢献を評価することでルールの重要性を定義します。まず、考えられるすべてのルールの組み合わせ (つまり、「連合」) が生成され、各組み合わせに対してモデルが構築され、平均二乗誤差が計算されます。

計算コストを削減するために、彼らは摂動に基づく効率的なアルゴリズムを採用しました。まず完全にデータベースのニューラル ネットワークをベースライン モデルとしてトレーニングし、次に追加のトレーニングのために各ルールの組み合わせを 1 つずつ追加します。最後にテストデータでモデルのパフォーマンスを評価します。ルールがある場合とない場合のすべての連合におけるモデルのパフォーマンスを比較することで、そのルールの限界寄与度、つまりルールの重要性を計算できます。

図: ルールの重要性の計算プロセス (出典: 論文)

研究者は、流体力学の例を通じて、データとルールの間の複雑な関係を調査しました。彼らは、データと以前のルールが異なるタスクでまったく異なる役割を果たすことを発見しました。テストデータとトレーニングデータの分布が類似している場合（つまり、分散内）、データ量の増加によりルールの効果が弱まります。

ただし、テストデータとトレーニングデータの分布の類似性が低い場合(分布外)には、グローバルルールの重要性が強調され、ローカルルールの影響が弱まります。これら 2 種類のルールの違いは、グローバル ルール (支配方程式など) はドメイン全体に影響を与えるのに対し、ローカル ルール (境界条件など) は特定の領域にのみ作用することです。

図: ルールの重要性とデータ量の関係 (出典: 論文)

研究チームは数値実験を通じて、知識における次のことを発見しました。 embedding では、ルール間の相互作用効果には、依存効果、相乗効果、代替効果の 3 種類があります。

依存効果は、一部のルールが有効であるために他のルールに依存する必要があることを意味します。相乗効果は、複数のルールが連携して動作する効果が、それぞれの独立した効果の合計を超えることを示します。置換効果は、ルールの機能を示します。データまたは他のルール置換の影響を受ける可能性があります。

これら 3 つの効果は同時に存在し、データ量の影響を受けます。ルールの重要度を計算することで、これらの効果を明確に実証でき、知識の埋め込みに重要な指針を提供します。

研究チームは、アプリケーション レベルで、知識埋め込みプロセスの中核問題、つまりデータとルールの役割のバランスをとり、埋め込み効率を向上させ、不適切な事前知識を排除する方法を解決しようとしました。モデルのトレーニング プロセス中に、チームはルールの重みを動的に調整する戦略を提案しました。

具体的には、トレーニングの反復ステップが増加するにつれて、正の重要性ルールの重みが徐々に増加し、負の重要性ルールの重みが減少します。この戦略では、最適化プロセスのニーズに応じて、さまざまなルールに対するモデルの注意をリアルタイムで調整できるため、より効率的で正確な知識の埋め込みが実現します。

さらに、AI モデルに物理法則を教えることで、AI モデルが「現実世界との関連性が高まり、科学や工学においてより大きな役割を果たす」ことができます。したがって、このフレームワークは、工学、物理学、化学の分野で広範囲に実際に応用できます。研究者らは、多変量方程式を解くために機械学習モデルを最適化しただけでなく、薄層クロマトグラフィー分析の予測モデルのパフォーマンスを向上させるルールを正確に特定しました。

実験結果は、これらの効果的なルールを組み込むことによってモデルのパフォーマンスが大幅に向上し、テスト データセットの平均二乗誤差が 0.052 から 0.036 に減少する (30.8% の減少) ことを示しています。これは、フレームワークが経験的な洞察を構造化された知識に変換できることを意味し、それによってモデルのパフォーマンスが大幅に向上します。

全体として、知識の価値を正確に評価することは、より現実的な AI モデルを構築し、安全性と信頼性を向上させるのに役立ちます。これはディープラーニングの開発にとって非常に重要です。

図: 効果的なルールを特定するためのルールの重要性 (出典: 論文)

次に、研究チームはフレームワークをプラグイン ツールに開発する予定です。人工知能の開発者。彼らの最終的な目標は、データから知識とルールを直接抽出して自らを改善できるモデルを開発し、それによって知識の発見から知識の埋め込みまでの閉ループ システムを作成し、モデルを真の人工知能科学者にすることです。

論文リンク: https://www.cell.com/nexus/fulltext/S2950-1601(24)00001-9

AAAS レポートリンク: https://www.eurekalert. org/ニュースリリース/1036117

以上がAIに多くの物理知識を与えるにはどうすればよいでしょうか? EITと北京大学のチームが「ルールの重要性」という概念を提案の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。