大模型做數學題到底如何,不妨讓它參與一下這種級別的比賽。 「AI 數學奧林匹克競賽(AIMO 進步獎)的初步成績已公佈。根據排行榜的數據,目前看來,獲勝的程序在私人測試中正確回答了29/50 道題,這一成績比預期的要高。
AIMO 起源於機器學習量化交易的非銀行金融機構XTX Markets,主要讓參與者使用AI 模型解決國際數學難題,而此次進步獎的目標是創建能夠解決用LaTeX 格式編寫的複雜數學問題的演算法和模型。這有助於推動人工智慧模型的數學推理能力,推動前沿知識的發展。
值得一提的是,此次進步獎是首次頒發,獲獎隊伍將角逐 104.8 萬美元的獎金。參賽題目包括中級高中數學競賽的題目,但難度沒有達到國際數學奧林匹克(IMO)的程度。 獲獎資格要求團隊公開發布其程式碼、方法、數據和模型參數。
根據排名,我們可以看出,獲得第一名的是 Numina 的團隊,CMU_MATH 排名第二,after exams 暫居第三,codeinter、Conor #2 團隊分別拿到第四、第五的成績。根據規則,參賽小組最多 5 人,排名前五的就有兩位是單人作戰。
大家使用的模型也各不相同,包括 Mixtral・8x7b、Gemma、Llama 3 等。
1. 一直以來,IMO 國際奧林匹克數學競賽都是由專門研究數學的愛好者們直接參與,但隨著大模型能力的不斷提升,其在數學中的表現受到越來越多的關注。
- 大家測試的重點也逐漸從類似的高考題轉戰到奧林匹克競技場上,此前,來自Google DeepMind 的AlphaGeometry 登上Nature,該研究解決了30 個奧林匹克級別問題中的25 個,接近國際數學奧林匹克競賽金牌選手的平均表現。
- 在大模型爆發的當下,已經不只一家開始挑戰奧賽難題,讓他們之間一較高下結果會怎樣呢?
- 去年11 月,專門為AI 設立的數學比賽來了,獎金為1000 萬美元,旨在激勵開放式的人工智能模型開發,使其能夠在國際數學奧林匹克(IMO)中表現得與頂尖人類參賽者一樣出色。此次進步獎是作為 AIMO 大獎的一部分進行評選。 AIMO 顧問委員都是數學界的大牛,包括菲爾茲獎得主 Timothy Gowers 和陶哲軒(Terence Tao),與他們一同任職的還有 Po-Shen Loh、Dan Roberts 和 Geoff Smith。 參考連結:https://aimoprize.com/participate
以上是陶哲軒支持! AI數學奧林匹克競賽進步獎公佈,獎金100多萬美元的詳細內容。更多資訊請關注PHP中文網其他相關文章!