馬斯克的第一代多模態模型Grok-1.5V，終於來了！
Grok 1.5V，號稱是能連結數位世界和實體世界。
除了文字功能，它還能處理文件、圖示、螢幕截圖和照片之類的各種視覺資訊。
很快，所有早期測試者和所有Grok用戶就能用上Grok 1.5V了。
Jim Fan, 英偉達資深科學家，發現了Grok-1.5V的「最大亮點」：在他看來，Grok-1.5V最令人感興趣的，就是解決自動駕駛邊緣案例的潛力。
透過使用“思維鏈”，可以幫助汽車解決複雜場景，用規則和反事實進行推理，解釋其決策，Grok-1.5 V能夠將感知提升至像素級，進而促進運行映射為像素->動作。
由此，特斯拉FSD V13就很有可能會理解語言Token！
特斯拉的優勢在於，具有高度成熟的資料管理線，因此，就不難用高品質的人類解釋痕跡來標記大量邊緣案例。在多模態FSD推理上，微調Grok的表現就很有可能會遠勝於GPT-4V和Gemini。
你可能會說，以前Wayve的LINGO-1不是也有類似的想法麼？但別忘了，特斯拉正在旋轉的，是個無與倫比的資料飛輪，規模遠超過以前。
馬斯克也適時地出現在了留言區，進一步解釋——
有兩種資料來源可以無限擴展，合成資料和真實世界影片。前者存在一個真偽的問題，而後者則不存在。
有網友表示，好傢伙，這聽起來是通往AGI最可行的路徑了！具有顯式語言推理的多模態模型，始終如一地推論世界模型。
#在xAI的官網上，對於Grok-1.5V是這樣介紹的。
它可以和GPT-4V、Claude 3 Sonnet、Claude 3 Opus等這些最頂尖的多模態模型對打。
無論是多學科推理，或是文件理解、科學圖表、表格、截圖和照片等多個領域，Grok-1.5V都和它們有的一拼。
尤其令人驚訝的，是它在理解物理世界時所表現出的卓越能力。
在RealWorldQA基準測試中，沒有思維鏈提示、零樣本設定的情況下，用以下資料集對Grok進行評估，可以看到Grok的表現比同類模型更好。
下面7個具有代表性的例子，更說明了Grok 1.5V在不同場景中的良好表現。
下圖給出了一個簡單的猜謎遊戲的流程圖，Grok可以根據流程圖具體內容，使用python程式碼實現該流程。
用戶：
你能把它翻譯成Python程式碼嗎？
Grok：
#當然！這張流程圖描述了一個簡單的猜謎遊戲，其中電腦產生一個隨機數，而使用者需要猜出它是什麼。以下是表示流程圖中邏輯的Python程式碼：
import randomdef guess_number(): # Generate a random number between 1 and 10target = random.randint(1, 10)while True:guess = int(input("Guess a number between 1 and 10: "))if guess == target:print("You won!")breakelse:print("Wrong guess, try again!")if __name__ == "__main__":guess_number()這段程式碼將運行流程圖中描述的猜謎遊戲。在使用者猜出正確數字之前，系統會一直提示使用者輸入猜測的數字。
#根據食品的營養成分錶，Grok可以知道該食品一份份量是3片、含有60卡路里的熱量，由此計算出，用戶給予5片該食品的卡路里總數是100。
使用者：
#5片含有多少卡路里？
Grok：
#如果一份包含3片，總熱量為60卡路里，那麼5片的熱量大約是100卡路里。
首先，確定每片的熱量：60卡路里÷3片=20卡路里/片。
接著，將每片的熱量乘以片數：20卡路里x5片=100卡路里。
Grok可以根據畫作的內容，講述一個簡短的睡前故事。
例如下面這個隨筆塗鴉：
#使用者：
##這是我兒子畫的，你能根據他的畫作講一個睡前小故事嗎？
Grok：
#很久很久以前，在一個充滿冒險與奇蹟的土地上，生活著一個勇敢的小男孩，名叫Timmy。他與家人住在一個溫暖的小屋裡，最喜歡的事情就是探索周圍的世界。
在一個陽光明媚的日子裡，Timmy決定去附近的森林探險。他準備了他最喜歡的零食、一本指南針和一本信賴的筆記本，用來記錄他即將見到的所有奇妙事物。
深入森林後，Timmy發現了一條在陽光照耀下閃閃發光的神奇河流。河流的迷人景緻讓他決定做一隻小紙船，把它放在水面上，作為對森林精靈的一份特別的問候。
Timmy小心翼翼地折好紙船，並在上面畫了一個笑臉，寄託了他對森林精靈的喜愛和祝福。隨後，他輕輕地把紙船放在河流中，目送它隨水漂流而去。
夕陽西下，Timmy知道該回家了。他回想起在森林中度過的這一天，知道這段美好的記憶將永遠伴隨著他。
於是，帶著滿心的愛與夢想，Timmy慢慢進入了夢鄉，期待在他的想像世界中探索新的冒險。
4. 看懂梗圖
#下面這張梗圖，左邊是新創公司，右邊是大公司，講的是什麼意思呢？
小編第一眼是沒看懂。看完Grok的解釋，才恍然大悟。
用戶：
##########我不是很理解這張圖，請解釋一下。 ###############Grok：#######这幅图幽默地展示了初创企业和大公司在工作方式上的差异。
在左侧的「初创企业」里，一群人齐心协力挖掘一个深洞，每个人都在积极地参与。
而在右侧的「大公司」里，只有一人在挖洞，其他人只是在旁边看着。
这幅图的幽默之处在于夸大了两种组织形态的不同。
初创企业通常会让每个人都直接参与到核心任务中，而大公司则可能因为其庞大的结构和官僚体制，使得团队成员无法接触到项目的每一个细节。
Grok可以将表格内容转换成CSV格式。
用户：
请将这个表转换为CSV格式。
Grok：
图像中的表格可以转换成CSV格式，如下所示：
medal,name,sport,event,date21 gold,El Amin Chentouf,Athletics,Men's marathon - T13,11 September31 gold,Mohamed Amguoun,Athletics,Men's 400m - T13,15 September41 gold,Azeddine Nouiri,Athletics,Men's shot put - T34,15 September52 silver,Mahdi Afri,Athletics,Men's 400m - T12,9 September62 silver,El Amin Chentouf,Athletics,Men's 5000m - T13,15 September73 bronze,Mahdi Afri,Athletics,Men's 200m - T12,17 September83 bronze,Mohamed Lahna,Paratriathlon,Men's PT2,10 September
请注意，CSV格式不支持样式或格式化，因此信息以纯文本格式显示。
地板上的木材腐烂了怎么办？
照片拍给Grok，它可以帮我们判断腐烂情况，还能给出合理的处理建议。
用户：
我地板上的螺丝周围出现了这些洞。是腐烂了吗？我应该更换木板吗？
Grok：
这些木板似乎已经开始腐烂。从螺丝周围出现的孔洞可以看出，这是木材腐烂的典型迹象。
为了确保地板的安全并延长使用的寿命，建议你更换那些已经受损的木板。这样做可以避免地板进一步的损害，并保持其结构的稳固。
如果你不知道如何更换木板，可以寻求专业地板建造商或承包商的帮助。他们会对损害的程度进行评估，并为你提供关于地板维护的专业建议。
编码问题，Grok-1.5V也是不在话下。
用户：
你能写出解决这个问题的Python代码吗？
Grok：
def find_triplets(nums):result = []nums.sort()for i in range(len(nums) - 2):if i > 0 and nums[i] == nums[i - 1]:continuetarget = -nums[i]left = i + 1right = len(nums) - 1while left
開發有用的現實世界AI助手，提高模型對物理世界的理解是至關重要的。
為了實現這個目標，研究團隊也推出了一個新的基準－RealWorldQA。
此基準可用於評估多模態模型對於基本現實世界空間的理解能力。
雖然目前基準中的許多範例對人類來說理解比較容易，但對於前沿模型來說還是具有一定的挑戰性。
最初發布的RealWorldQA包含700多張圖片，每張圖片都有一個問題和易於驗證的答案。
例如，如果我們問它：圖片中的披薩刀和剪刀哪個物體比較大？
Grok給的答案是：它們的大小差不多。
從目前車道可以去哪裡？ A.左轉 B.直行 C.左轉直行 D.右轉
Grok會選A。
從轎車前方的攝影機來看，是否有足夠的空間繞過前面的灰色轎車？
Grok給的答案是：是。
從這張圖片來看，恐龍是朝向哪個方向？
Grok回答：東。
除了其他真實世界的影像外，該資料集還包括從車輛上拍攝的匿名影像。
研究團隊將該資料集進行了開源，並希望隨著多模態模型的改進而不斷擴展該資料集。
最後，xAI官網總結道，憑著提高多模態理解和生成能力，它們將逐漸逼近構建能夠理解宇宙的有益AGI。
而接下來幾個月裡，估計我們還會看見影像、音訊、視訊等多模態上，這兩項能力的重大改進。
以上是馬斯克新作！ Grok-1.5V多模態模型震撼發表：數位與實體世界完美融合的詳細內容。更多資訊請關注PHP中文網其他相關文章！
