プリンストンのオープンソース 34B 数学モデル: パラメータは半分、パフォーマンスは Google Minerva に匹敵し、550 億トークンが専門的なデータ トレーニングに使用されます

数学は科学の基礎として、常に研究と革新の重要な分野です。

最近、プリンストン大学を含む 7 機関が共同で、Google Minerva 62B に匹敵するパフォーマンスを備えた数学に特化した大規模言語モデル LLEMMA をリリースし、そのモデル、データセット、コードを公開しました。数学研究に対する前例のない機会とリソース。

論文アドレス: https://arxiv.org/abs/2310.10631

データセット リンクアドレスは: https://huggingface.co/datasets/EleutherAI/proof-pile-2

プロジェクトのアドレス: https://github.com/EleutherAI/math-lm 書き直す必要があるのは次のとおりです。

LLEMMA は Code Llama の基礎を継承しており、Proof-Pile-2 で事前トレーニングされています。

Proof-Pile-2 は巨大な混合データ セットであり、科学論文、数学的内容が豊富な Web データ、数学的コードなど、550 億個のトークンに関する情報が含まれています。

このデータ セットの一部である代数スタックには、17 の言語からの 11B のデータ セットがまとめられており、数値的、記号的、数学的な証明がカバーされています。

7 億 34 億のパラメータを備え、MATH ベンチマークで非常に優れたパフォーマンスを示し、既知のすべてのオープン ソース ベースを上回ります。モデル。

Google Research が開発した数学専用の閉じたモデルと比較すると、パラメータの数は Minerva 62B の半分しかありません条件としては、Llemma 34B がほぼ同等の性能を達成しました。

#Llemma は、パラメトリック ベースで問題を解決する際に Minerva のパフォーマンスを上回っています。計算ツールと形式的定理証明を使用して、数学的問題を解決するための無限の可能性を提供します

Python インタプリタと形式証明器を便利に使用でき、数学的問題を解決する能力をさらに実証します。

# #形式的な証明データに特に重点を置いているため、代数スタックは少数サンプル定理を証明する能力を実証する最初のオープンな基本モデルとなっています

#図

研究者らは、LLEMMA のすべてのトレーニング データとコードもオープンに共有しました。以前の数学モデルとは異なり、LLEMMA はオープンソースのオープン共有モデルであり、科学研究コミュニティ全体に扉を開きます。

研究者らはモデルの記憶効果を定量化しようとしましたが、驚くべきことに、トレーニング セットに現れる問題に対して Llemma の精度が向上していないことがわかりました。コードとデータは公開されているため、研究者らは他の人が分析を複製して拡張することを奨励しています

訓練資料和實驗配置

LLEMMA是一個專門用於數學的大型語言模型，它在Code Llama的基礎上繼續在Proof-Pile-2上進行預訓練。 Proof-Pile-2是一個包含科學論文、含有數學內容的網頁資料和數學程式碼的混合資料集，包含了550億個標記

AlgebraicStack的程式碼部分包含了11B的資料集，其中包括17種語言原始碼，覆蓋數值、符號和形式數學，並已公開發布

LLEMMA的每個模型都是由Code Llama進行初始化的。 Code Llama模型是僅包含解碼器的語言模型，它是從Llama 2進行初始化的

作者對Code Llama模型在Proof-Pile-2上進行了進一步的訓練，使用標準的自回歸語言建模目標。對於7B模型，作者進行了200B個標記的訓練，而對於34B模型，作者進行了50B個標記的訓練

評估方法和實驗結果

作者使用Proof-Pile-2對Code Llama進行繼續預訓練，並且在MATH和GSM8k等多個數學問題解決任務上對LLEMMA進行few-shot評估。

研究人員發現LLEMMA在這些任務上都有顯著的提升，並且能夠適應不同的問題類型和難度。

LLEMMA 34B在極高難度的數學問題中展示了比其他開放式基礎模型更強大的數學能力

在數學基準測試上，LLEMMA在Proof-Pile-2上的持續預訓練改善了五個數學基準測試的few-shot性能。

在GSM8k上，LLEMMA 34B的改進比Code Llama高出20個百分點，在MATH上高出13個百分點。而且，LLEMMA 7B也優於相似大小的專有的Minerva模型，證明了在Proof-Pile-2上進行預訓練能有效提高大模型的數學解題能力

在解決數學問題時，利用計算工具如Python等，LLEMMA在MATH Python和GSM8k Python任務上都比Code Llama更出色

#在使用MATH和GSM8k資料集時，LLEMMA的效能優於沒有使用工具時的效能

在數學證明任務中，LLEMMA表現出色

非正式到正式證明的任務目標是在給定一個正式陳述、一個非正式的LATEX陳述和一個非正式的LATEX證明的情況下，產生一個正式證明，然後透過證明助手進行驗證。

正式到正式證明則是透過產生一系列證明步驟（策略）來證明一個正式陳述。結果表明，LLEMMA在Proof-Pile-2上的持續預訓練改善了這兩個正式定理證明任務的few-shot表現。

LLEMMA不僅擁有令人矚目的效能、還開放了革命性的資料集、展現了驚人的問題解決能力。

開源共享的精神，標誌著數學界進入了一個新的時代。數學的未來在這裡，而我們每一個數學愛好者、研究者和教育者都將從中受益。

LLEMMA的出現為我們提供了前所未有的工具，讓數學問題的解決變得更有效率和創新。

此外，開放共享的概念也將促進全球科學研究社群更加深入的合作，共同推動科學的進步。

以上がプリンストンのオープンソース 34B 数学モデル: パラメータは半分、パフォーマンスは Google Minerva に匹敵し、550 億トークンが専門的なデータ トレーニングに使用されますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。