AI は大学の数学の問題を数秒で解き、正答率 80% 以上を達成し、問題教師としても機能します

あなたが受けた数学のテスト問題は機械によって生成されたものかもしれません。

MIT の学生は、多変量微積分、微分方程式、線形代数などの数学のトピックを簡単に解くことができますが、これらは機械学習モデルは行き詰まりました。なぜなら、機械学習モデルは小学校または高校レベルの数学の質問にしか答えることができず、常に正しい答えが見つかるとは限らないからです。

##現在、MIT、コロンビア大学、ハーバード大学、ウォータールー大学の研究者は、小規模サンプル学習と OpenAI の Codex を使用してプログラムを自動的に合成し、数秒で問題を解決しています。数学の問題は人間のレベルに達しました。この研究は米国科学アカデミー紀要（PNAS）に掲載された。

さらに、モデルは生成された解を説明し、新しい大学の数学の問題を迅速に生成できます。研究者らがこれらの機械が生成した質問を学生に見せたところ、学生たちはその質問がアルゴリズムによって生成されたのか人間によって生成されたのかさえわかりませんでした。

この調査は、コース コンテンツの生成を合理化するためにも使用できます。これは、数千人の生徒がいる学校や大規模なオープン オンライン コース (MOOC) に特に役立ちます。このシステムは、生徒に数学の問題を解く手順を示すオンライン家庭教師としても機能します。

文書アドレス: https://www.pnas.org/doi/epdf/10.1073/pnas.2123433119

この研究の方法は、次の 3 つのイノベーションを組み合わせたものです。

• テキストのみの事前トレーニングとは異なり、この研究は事前トレーニングをしながらテキストの微調整はコードでも実行されます。
• 小さなサンプル学習を使用してプログラムを合成すると、数学的な問題を正しく解決できます。
• 研究は問題を解決し、解決策を説明し、新しい疑問を生み出すことができます。

この研究によって生成された新たな疑問の例は次のとおりです。

質問に答え、解決し、提示できるモデル

研究チームはこれに資金を費やしました。約2年間にわたるプロジェクト。彼らは、テキストのみを使用して事前トレーニングされたモデルは高校の数学の問題では 8% 以上の精度を達成できない一方、グラフ ニューラル ネットワーク モデルは機械学習のコースの問題では十分な精度を達成できましたが、それには 1 週間かかりました。

この研究では、7 つのコースから 25 の問題をランダムに選択しました: MIT の 18.01 単一変数微積分、18.02 多変数微積分、18.03 微分方程式、18.05 確率と統計入門、18.06 線形代数、6.042 数学コンピューター サイエンス、およびコロンビア大学の COMS3251 計算線形代数。

MATH データセットの場合、研究では、データセット内の 6 つのトピック (代数、計数と確率、中級代数、数論、予備代数、および微積分) から 15 個の質問をランダムに抽出しました。

これらのプログラミング タスクをニューラル ネットワークに入力する前に、研究者らは新しいステップを追加しました。以前の試み。

これは、テキストのみで事前トレーニングされた GPT-3 などのネットワークとは異なります。彼らはこれらの問題をプログラミング タスクに変換し、プログラム合成と少数ショット学習技術を適用しました。数学の問題をプログラミング タスクに変えることは、2 点間の距離を求める問題を 2 点間の差を求めるプログラムを書くのと同じくらい簡単に書き直すことができます。

この研究では、Codex をテキストで事前トレーニングしただけでなく、大規模な数学的問題を解決するためのプログラムを生成できるようにコードを微調整したことも言及する価値があります。

事前トレーニングされたモデルには、オンライン リポジトリからの数百万のコード サンプルが表示されます。モデルのトレーニング データには数百万の自然言語単語と数百万行のコードが含まれているため、テキストの断片とコードの断片の間の関係を学習できます。

下の図に示すように、この研究ではゼロショット学習とスモールショット学習を使用して、数学的問題の 81% を解決できるプログラムを自動的に生成します。次に、Codex を使用して、生成されたプログラムを解釈します。生成されたプログラムは、さまざまな形式で回答を出力できます。たとえば、特異値分解 (SVD) の幾何学的形状を計算して描画すると、正しい答えが得られるだけでなく、対応する説明も得られます。 OpenAI Codex を使用してニューラル ネットワークを適用して、数学的問題を解決、解釈、生成します。

この論文の著者の一人である Drori 氏は、多くの数学的問題はグラフやツリーを使用して解決できるが、問題はテキストで記述されると説明しました。この表現に変換するのは困難です。ただし、モデルはテキストとコードの関係を学習しているため、質問コードの例をいくつか示し、コードを実行して質問に答えるだけで、テキストの質問をコードに変換できます。

「テキストのみを使用して質問すると、たとえ答えがテキストに含まれていても、機械学習モデルが答えを返すことは困難です。この作業は、テキストの不足しているギャップを埋めます。」コードとプログラムの合成。部分的には」とドロリ氏は語った。

Drori 氏はまた、この研究は学部の数学の問題を解決した最初のものであり、精度が 8% から 80% 以上に向上したと付け加えました。

コンテキストの追加

実際、数学の問題をプログラミング タスクに変換するのは必ずしも簡単ではありません。一部の問題では、ニューラル ネットワークが問題を正しく処理できるように、研究者がコンテキストを追加する必要があります。学生はコースの受講中にこの背景知識を学びますが、研究者が明示的に述べない限り、ニューラル ネットワークにはこの背景知識がありません。

たとえば、本文中のネットワークは通信ネットワークではなくニューラル ネットワークを指していることを説明する必要があります。あるいは、どのプログラミング パッケージを使用するかをモデルに指示する必要がある場合もあります。また、特定の定義を提供する必要がある場合もあります。たとえば、トランプに関する質問では、各デッキに 52 枚のカードが含まれていることをモデルに伝える必要がある場合があります。

この研究では、これらのプログラミング タスクを、含まれるコンテキストや例とともに、事前にトレーニングされ、微調整されたニューラル ネットワークに自動的に入力し、通常は正しい結果を生成するニューラル ネットワークを出力します。の答えのプログラムです。 80％以上の問題が正答しました。

研究者らは、ニューラル ネットワークにトピックに関する一連の数学的な質問を与え、新しい質問を作成させることで、モデルを質問の生成にも使用しました。たとえば、水平線と垂直線の量子検出の問題があり、これにより対角線の量子検出という新たな問題が発生します。つまり、既存の問題の値や変数を置き換えて新しい問題を作成するだけではありません。

人間が尋ねた質問と機械が生成した質問

研究者らは、機械が生成した質問を大学生に見せてテストしました。研究者らは、学部の数学コースからランダムに学生に 10 個の問題を与え、そのうち 5 個は人間が作成し、5 個は機械が作成したものでした。

学生たちは、機械が生成した問題がアルゴリズムによって生成されたのか人間によって生成されたのかを区別できませんでしたが、コースの難しさと適切さについて同様の評価を与えました。

ただし、Drori 氏は、この研究は人間の教授の代わりをすることを目的としたものではないと述べました。

「現在、精度は 80% に達していますが、100% には達しません。問題を解決するたびに、誰かがより難しい問題を出題します。しかし、この作業は、 「これは、ますます困難になる問題を解決するために人々が機械学習を使い始める分野です。これは高等教育に大きな影響を与えると考えています」とドロリ氏は語った。

研究チームは、アプローチの成功に興奮しており、数学的証明を処理できるように研究を拡張しています。また、いくつかの制限に対処することも計画しています。現在、モデルは視覚的なデータを使用できません。また、質問に答えるだけでは、計算の複雑さのために計算が難しい問題を解決することはできません。

これらの障害を克服することに加えて、この研究では、モデルを数百のコースに拡張することも目的としています。これらのコースでは、より多くのデータを生成して自動化を強化し、コース設計とカリキュラムに関する洞察を提供します。

以上がAI は大学の数学の問題を数秒で解き、正答率 80% 以上を達成し、問題教師としても機能しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。