DeepMindの論文がNatureに掲載: 何十年も数学者を悩ませてきた問題、大規模モデルが新たな解決策を見つける

今年の人工知能分野のトップテクノロジーである大規模言語モデル (LLM) は、概念を組み合わせ、読み取り、理解、書き込み、コーディングを通じて人々が問題を解決できるようにすることに優れています。しかし、まったく新しい知識を発見できるでしょうか?

LLM が「幻覚」問題、つまり事実と一致しない情報を生成する問題を抱えていることがわかっていることを考えると、LLM を利用して検証可能な正しい発見をするのは困難な作業です。

Google DeepMind の研究チームは、数学とコンピューター サイエンスの問題の解決策を検索する新しい方法、FunSearch を提案しました。 FunSearch は、事前にトレーニングされた LLM (コンピュータ コードの形式で創造的なソリューションを提供する) と自動「評価器」を組み合わせて機能し、幻覚や間違ったアイデアを防ぎます。これら 2 つのコンポーネントの間を行き来することにより、最初の解決策は「新しい知識」に進化します。関連する論文がNature誌に掲載されました。

#論文アドレス: https://www.nature.com/articles/s41586-023-06924-6

この研究は、LLM を使用して、科学または数学における難解な未解決の問題について新しい発見を行う最初の作品です。

FunSearch は、数学における永続的な未解決の問題であるキャップ セット問題に対する新しい解決策を発掘します。さらに、DeepMind はこのソリューションを使用して、データセンターの効率向上など、多くの分野で広く使用されている「ボックス化」問題を解決するためのより効率的なアルゴリズムを検討しています。 FunSearch の実用的な応用価値の実証

研究チームは、FunSearch が出力するプログラムは、ソリューションの内容だけでなく、そのソリューションがどのように構築されているかを明らかにするため、FunSearch が特に強力な科学ツールになると信じています。は。これにより、科学者のさらなる洞察が刺激され、科学の改善と発見の好循環が生まれます。

言語モデルの進化を通じて発見を促進する

FunSearch は、LLM を活用した進化的アルゴリズムを使用して、最高スコアのアイデアやアイデアを奨励し推進します。 。これらのアイデアやアイデアは、自動的に実行して評価できるようにコンピューター プログラムとして表現できます。

まず、ユーザーは問題の説明をコードの形式で記述する必要があります。この説明には、プログラムとプログラム プールの初期化に使用されるシード プログラムを評価するプロセスが含まれている必要があります。

FunSearch は反復プロセスです。各反復で、システムは現在のプログラム プールからいくつかのプログラムを選択し、LLM に渡します。 LLM はこの基盤の上に構築され、新しいプログラムを生成し、自動的に評価されます。最高のプログラムは既存のライブラリに追加され、自己改善のサイクルが生まれます。 FunSearch は Google の PaLM 2 を使用しますが、コードでトレーニングされた他のメソッドとも互換性があります

LLM はプログラム データベースから生成された最良の結果を取得します。そして、より良いプログラムを作成するように依頼されました。

誰もが知っているように、さまざまな分野で新しい数学的知識とアルゴリズムを探索することは非常に困難な作業であり、多くの場合、現在の最先端の人工知能システムの能力を超えています。 FunSearch をこの課題に応えるために、研究チームはいくつかの重要なコンポーネントを導入しました。 FunSearch はゼロから始めるのではなく、問題の常識からスタートし、進化のプロセスを通じて新しい発見を達成するための最も重要なアイデアを見つけることに重点を置いています

さらに、FunSearch の進化のプロセス戦略を使用してアイデアの多様性を高め、停滞を回避します。最後に、システム効率を高めるために、進化プロセスは並行して実行されます。

数学の分野に新たな地平を切り開く

DeepMind は、最初に解決しなければならないのはキャップ セット問題であると述べました。これは未解決の問題であり、10 年間にわたって複数の研究分野の数学者を悩ませてきました。有名な数学者テレンス・タオはかつて、これをお気に入りの未解決問題だと述べました。 DeepMind は、キャップ集合問題における重要な進歩をもたらしたウィスコンシン大学マディソン校の数学教授、ジョーダン・エレンバーグと協力することを選択しました。

重要な問題は、高次元グリッド内の 3 つの点が同一線上にない最大の点のセット (「キャップ セット」と呼ばれる) を見つけることです。この問題の重要性は、極限組合せ論における他の問題のモデルとして機能する可能性があることです。極端な組み合わせ論では、コレクション (数値、グラフィックス、その他のオブジェクト) が取り得る最小または最大のサイズを研究します。ブルートフォースソリューションはこの問題を解決できません - 考慮すべき可能性の数はすぐに宇宙の原子の数を超えるでしょう

FunSearch 手続き的に生成されたソリューションが場合によっては見つかる 史上最大の上限セット。これは、過去 20 年間で最大のキャップセットサイズの増加を表しています。さらに、問題の規模が現在の能力をはるかに超えているため、FunSearch は最先端の計算ソルバーよりも優れたパフォーマンスを発揮します。

インタラクティブなグラフは、シード プログラム (上) から新しい高スコア関数 (下) への進化を示しています。各円はプログラムを表し、そのサイズはそれに割り当てられたスコアに比例します。図には最下位プログラムの上位のみが示されています。各ノードに対して FunSearch によって生成された対応する関数を右側に示します。

これらの結果は、FunSearch テクノロジーを使用すると、直感を構築するのが難しい難しい組み合わせ問題について、人間が確立された結果を超えることができることを示しています。 DeepMind は、このアプローチが組み合わせ論における同様の理論的問題に関する新たな発見に役割を果たし、将来的にはコミュニケーション理論などの分野に新たな可能性をもたらすことを期待しています。

FunSearch は簡潔で人間が理解できるプログラムを好みます

新しい数学的知識の発見はそれ自体重要ですが、従来のコンピューターとは異なります。比較すると、FunSearch メソッドには他の利点もあります。これは、FunSearch が問題の解決策を生成するだけのブラック ボックスではないためです。代わりに、それらの解決策にどのように到達したかを説明するプログラムを生成します。この種の「仕事の見せ方」は通常、科学者が仕事をする方法であり、新しい発見や現象を、それが生じたプロセスを説明することによって説明します。

FunSearch は、コルモゴロフの複雑度が低く、非常にコンパクトなプログラムを表すソリューションを見つけることを好みます。コルモゴロフの複雑さは、ソリューションを出力するために必要な最短のコンピューター プログラムの長さを指します。 FunSearch は短いプログラムを使用することで、非常に大きなオブジェクトを記述することができるため、非常に複雑な問題を処理できます。さらに、これにより、研究者は FunSearch によって生成されたプログラム出力を理解しやすくなります。エレンバーグ氏は、「FunSearch は、ストライキ戦略を開発するためのまったく新しいメカニズムを提供します。FunSearch を通じて生成されるソリューションは、単純な数字のリストよりも概念的に豊富です。それらを研究することで、いくつかのことを学びました。」

さらに重要なのは、FunSearch プログラムのこの解釈可能性は、研究者に実用的な洞察を提供できることです。たとえば、DeepMind は FunSearch を使用しているときに、高スコアの出力の一部のコードに興味深い対称性があることに気づきました。これにより、DeepMind は問題を新たに理解し、問題を改善するために使用し、より良い解決策を見つけるために FunSearch が導入されました。 DeepMind は、これが数学の多くの問題に関して FunSearch と人間が協力した優れた例であると考えています。

左: FunSearch によって生成されたコードを検査することで、DeepMind はより実用的な洞察を獲得しました (強調表示)。右: 左側の (短い) プログラムを使用して構築された元の「許容可能な」セット。

よく知られた計算問題の解決

理論的キャップセット問題の成功に触発されて、DeepMind は FunSearch をコンピュータ サイエンスに適用することにしました。現実的な重要な課題は、柔軟性を探るためのビン パッキング問題です。梱包の問題は、さまざまなサイズの商品を最小数の箱にどのように梱包するかに関するものです。これは、商品を入れたコンテナの輸送から、コストを最小限に抑える必要があるデータセンターでのコンピューティング作業の分散まで、現実世界の多くの問題の中心となっています。

通常、オンライン ビニングの問題を解決するには、人間の経験に基づいたヒューリスティック アルゴリズム ルールが使用されます。ただし、特定の状況 (規模、時間、容量などによって異なります) ごとに一連のルールを作成するのは非常に困難です。キャップ セットの問題とは大きく異なりますが、FunSearch を使用するとこの問題を解決するのは非常に簡単です。 FunSearch は、ケースバイケースでデータに適応する自動的にカスタマイズされたプログラムを提供し、既存のヒューリスティックよりも少ないビンを使用して同じ数のアイテムを保持できます。

既存のヒューリスティックを使用したビニングの例 - ベストフィット ヒューリスティック (左) と FunSearch によって発見されたヒューリスティック (右)。

オンライン ビニングなどの複雑な組み合わせ問題は、ニューラル ネットワークや強化学習などの他の人工知能手法を使用して解決できます。これらの方法も効果的であることが証明されていますが、導入するには多大なリソースが必要になる場合があります。一方、FunSearch は、検査と展開が簡単なコードを出力します。つまり、そのソリューションは現実世界のさまざまな産業システムに適用できる可能性があり、すぐにメリットをもたらします。

DeepMind: 大規模なモデルを使用して科学的課題に対処するのが一般的になるでしょう

FunSearch は、LLM の発生を防ぐことができれば、これらのモデルの威力を実証します。新しい数学的発見を生み出すために使用できるだけでなく、現実世界の重要な問題に対する潜在的な解決策を明らかにするためにも使用できます。

DeepMind は、科学と産業の多くの問題 (古くからある問題も新しい問題も) に対して、LLM 主導の手法を使用して効率的でカスタマイズされたアルゴリズムを生成することが一般的になるだろうと信じています。

実は、これはほんの始まりにすぎません。 LLM が進歩を続けるにつれて、FunSearch も改善し続けます。 DeepMindはまた、社会におけるさまざまな差し迫った科学および工学的課題に対処するために、その能力の拡大にも取り組むと述べた。

以上がDeepMindの論文がNatureに掲載: 何十年も数学者を悩ませてきた問題、大規模モデルが新たな解決策を見つけるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。