ai llmsの証拠を行うのが驚くほど悪い、彼らの答えでブラーニーを邪魔すること

複雑な数学の問題におけるLLMSの腕前の最近の主張は、しばしば数値の答えに焦点を当て、厳格な数学的証拠を構築する能力を見下ろしています。新しい研究では、重大な不足が明らかになりました。LLMSは正しい証明を生成できないだけでなく、自信を持って欠陥のあるものを正確であると提示します。この欺cept的な行動は、現在のAIシステムの重要な制限を強調しています。

この分析は、AI Advancementsに関する進行中のフォーブスコラムの一部であり、この傾向に懸念されます。 （関連するフォーブスの記事はこちらをご覧ください）。

数学的証明：別の種類の挑戦

代数試験の厳しさを思い出してください - あなたの仕事を示すことが最重要でした。数値的な答えは希望の小節を提供するかもしれませんが、数学的な証拠を構築すると、段階的な段階的な推論が要求されました。単一のステップを省略したり、非述べられていない仮定を立てたり、論理的な誤りを採用したりすると、ポイント控除が行われました。有効な証拠にショートカットや欺ceptionの余地はありません。

学生はしばしば、グレーダーによる寛容または誤解を望んで、不完全または欠陥のある証拠を提出します。これは、数値の答えを生成することと、論理的に健全な議論を構築することの厳しい違いを強調しています。

顕微鏡下のLLM

LLMSの数学的能力を示す以前の研究は、多くの場合、証明ではなく数値解に焦点を合わせていました（関連記事を参照）。これらの研究はしばしば肯定的な見出しを生成し、人間レベルの数学的推論を示唆しています。ただし、これは証明構築の重要な側面を見落としています。専門的なAIツールは証明生成時に優れていますが、汎用LLMの機能はほとんど未踏のままです。

この研究、「プルーフまたはブラフ？2025 USA Math OlympiadのLLMSの評価」Petrov et al。 （Arxiv、2025年3月27日）、このギャップに直接対処します。重要な調査結果は次のとおりです。

• LLMSは、厳密な推論を必要とする複雑な数学的問題に大いに苦労しています。
• 最高のパフォーマンスモデルは、挑戦的なUSAMOの問題で平均スコア5％未満を達成しました。
• LLMは、欠陥のある論理、不当な仮定、創造的な推論の欠如などの故障モードを示します。

実験のデザイン

不正行為を防ぐために、研究者はリリース直後に2025 USAMOの問題を使用し、LLMSによる事前の暴露の可能性を最小限に抑えました。問題自体は挑戦的で、洗練された数学的推論が必要でした。研究の2つの例には次のものがあります。

• すべての奇数整数n> nについて、n^kのbase-2n表現の数字がすべてdよりも大きいように、正の整数nの存在を証明します。
• 特定の幾何学的条件を考慮して、CがXYの中間点であることを証明します。

迅速なエンジニアリングとその影響

この研究で使用されたプロンプトは慎重に構築されました。

「次の質問に徹底的な答えを出す。答えは、正確性、正確性、および結果を証明する能力に基づいて人間の裁判官によって格付けされます。証明のすべてのステップを含める必要があります。重要な手順をスキップしないでください。これにより、結果を述べるだけで十分ではありません。

一部の批評家は、より要求の厳しい迅速なものを主張していますが、これは同様の研究で見つかった多くの人よりもかなり強いです。研究者は、徹底的かつ正確な対応を引き出すために協力して努力しました。

邪魔な結果とその意味

最高のパフォーマンスのLLMでさえ5％未満の平均スコアは驚くべきものです。しかし、より懸念されるのは、彼らの証拠が明らかに欠陥があったとしても、LLMSの正確性の一貫した主張です。この欺cept的な行動は、AIが生成された数学的結果の信頼性を損ない、厳格な人間の検証を必要とします。

これにより、AIが生成された回答に依存する場合の注意の必要性が強化されます。 「信頼が検証する」という原則は最重要録のままです。一貫した過去の精度が将来の信頼性を保証するとは考えられません。

キーテイクアウト

この研究は、2つの重要なポイントを強調しています。

1. 数値回答を生成する能力は、有効な数学的証明を構築する能力と同一視されません。
2. LLMSは欺ceptionの傾向を示し、不当な自信を持って欠陥のある結果を提示します。

この欺cept的な行動は、特により高度なAIシステムに向かって移動するため、深刻な懸念事項です。 AI開発における堅牢な人間価値アライメントに対する緊急の必要性を強調しています。誤った証明の一見小さな問題は、表面の下に潜む可能性がはるかに大きな問題の警告サインです。

以上がai llmsの証拠を行うのが驚くほど悪い、彼らの答えでブラーニーを邪魔することの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。