雲從AI大模型參戰！支持圖文跨模態理解，跟GPT-4拼做中考題

智東西

作者 | ZeR0

#編輯 | 漠影

#智東西5月18日報道，今日，雲從科技推出從容大模型，並現場演示了從容大模型在問答、寫命題作文、意圖理解、多輪對話、英文寫作、機器翻譯、編程、圖文跨模態理解、做中考真題等方面的能力。目前從容大模型處於內測階段。

根據演示，從容大模型對一本預先上傳好的大約有五六百頁的《大話西方藝術史》書籍進行了深度理解，包括詢問書籍相關內容、總結這是一本什麼樣的書、找到指定要求的圖等。

經過對從容大模型、ChatGPT、GPT-4做去年中考真題的能力進行測試，雲從從容比ChatGPT的答題速度更快，答歷史、生物題的得分略低於ChatGPT，答地理題的分數與ChatGPT持平，答政治題、道德與法制題的表現比ChatGPT好。目前GPT-4.0的水平明顯優於其他系統。

現場，大模型信創生態聯盟正式成立，成員包括優刻得、廈門文旅、華為昇騰、南沙公控、CSDN、眾數信科等，旨在促進大模型技術的創新和發展，推動人工智慧在各行業應用。

雲從科技也將分別與中國中檢、神舟資訊、深圳報業、佳都科技、金世緣、遊族網絡、艾登科技合作，推出品質大模型、金融大模型、文娛大模型、交通大模型、製造大模型、遊戲大模型、醫療大模型等。

一、基礎能力示範：支援圖文跨模態理解，做中考題速度比ChatGPT快

從容大模型的對話式介面跟ChatGPT差不多。葉懋，雲從科技技術管理部總監，在現場展示了從容大模型的基礎能力。

問答方面，從容大模型的回覆風格偏簡潔、實在，能夠避開一些陷阱題挖的坑。

寫作方面，針對去年四川省的一個中考作文題“以最美的顏色為題寫一篇不少於600字的作文”，從容大模型現場寫出一篇作文。向它提出更多修改或限定要求，例如用白色改寫、要求更有深度、改成以一個患病小孩的視角寫最美的顏色來自於醫護人員的白大褂等等之後，從容大模型能夠理解意圖並展現出多輪對話的能力。

在從容大模型的現場，我成功完成了一篇英文招領啟事的創作，並按照要求對落款進行了修改。要求它翻譯成中文後，它首先給出的回復是偏生硬的直譯，接著按照“用中文習慣改寫”的新要求改寫了這篇啟事。

程式設計方面，從容大模型先展示了寫程式碼的能力，寫出一段快速排序的程式碼。

向它提出相對專業些的話題，“這段代碼的時間複雜度是多少”，從容大模型的回復沒什麼毛病。

要求加上程式碼註釋，它也能快速完成。

再提高點難度，讓它寫出C 程式設計師能看懂的程式碼，它不僅完成了任務，還按照前面的要求添加有註解。

閱讀理解方面，從容大模型支援對長文檔或多文檔聚合進行理解，並支持圖文跨模態理解。

雲端從技術人員預先上傳了一本大概有五六百頁的《大話西方藝術史》書籍，從容大模型對這本書的內容進行了深度理解，接著就能基於這本書所涉及的知識範疇與使用者互動，包括詢問書籍相關內容、總結這是一本什麼樣的書等。

如下圖所示，介面中間部分是書籍的正文，右邊是對話互動介面，從容大模型準備了一些提問範例，點擊某個範例後，它就會即時產生回复，並附有回复內容相關的一些線索。點擊這些線索就會連結到書中對應的段落位置。透過從容大模型，使用者可以提供圖片描述並在書籍中快速定位。

雲從科技對從容大模型、ChatGPT和GPT-4進行了測試，以確定它們在2022年各學科中考真題解題方面的能力。

從測驗結果來看，雲從容比ChatGPT的答題速度更快，答歷史、生物題的得分略低於ChatGPT，答地理題的得分與ChatGPT持平，答政治題、道德與法制題的表現比ChatGPT好。目前GPT-4.0的水平明顯優於其他系統。

二、產業應用範例：城運治理、設備維修、金融營運、政策解答

要讓從容基礎大模型真正用起來，需要建構產業大模型。

雲端從科技共同創辦人、廣東公司總經理姚志強分享了從容大模型在基層治理場景的應用，例如面向民眾服務的一語智辦、面向公務員及網格隊伍的智治精靈、面向應用開發者的編程助手、面向城運治理中心的融合指揮。

在城市運營治理中心的場景中，大螢幕播放了城市運營智慧大螢幕AI助理的演示。如果一個指揮員命令“將第五螢幕移至中間”，那麼AI會理解這個命令，並且迅速執行。

指揮家又提問“這個週邊人和車多嗎”，AI大模型隨即藉助多模態能力，自動分析人流車況，選取週邊人和車最多的幾路視頻畫面，並告知“依據視頻內容，湖泊週邊交通狀態良好，但存在車輛佔道違停現象，同時部分位置人員較為擁擠，建議安排保全人員維持秩序」。

指揮官繼續提問：「今天對市民遊玩有什麼建議？」AI大模型回復了天氣狀況，並給出「適合出遊」、「做好防曬」的建議。

面向設備維修管理場景的例子，是雲端從科技基於產業大模型做的智慧維修伴隨系統。

維修計畫有兩個來源：一是基於設備分類，設備歷史的維修記錄以及最近的生產計畫等會綜合自動形成一個維檢修計畫；二是巡檢機器人或探頭會在機器人巡檢過程中發現某個地方有個問題，這個問題可能是臨時性的，它會知道有什麼故障、可能性是什麼、是否需要發送一個維修請求。

在準備維修的過程中，透過研究維修手冊、維修記錄以及專家建議，大型機器逐漸發展成為具備「老師傅」等級的維修技能。在維修前，系統會提供一個包括圖文、音視頻、維修關鍵要點的完整預習課程，方便維修工程師預習要維修的設備可能是什麼故障、故障是由什麼導致的、應該帶什麼工具、採用什麼修、換什麼備件等等。

在維修過程中，雲端從智慧維修伴隨系統提供兩個典型的解決方案：一是“指導”，工程師可以問大模型設備故障應該怎麼修；二是“監督”，大模型可以監測工程師的維修動作是否規範、有沒有遺漏重要修程。

在維修工單關閉時，無需工人自己寫，系統會根據全程的視頻記錄自動解析，形成一個圖文的維修記錄，並伴有這次維修中的核心視頻內容，以便進行維修復盤和對後續維修提供知識來源。

面向金融場景，大模型能夠提升銀行內部的業務營運效率。從容大模型可將銀行大量的資料資源，轉化為更有價值的訊息，突破了專業知識的供給瓶頸，有助於提升銀行在普惠金融、銀行營運能力、服務實體經濟方面的能力。現場示範了AI虛擬客戶經理回答理財相關專業問題的表現。

相比通用大模型，以本地知識庫進行最佳化的產業大模型能夠提供更專業嚴謹的回答，避免出現胡編亂造的情況。

以海關政策AI精靈為例，海關政策AI精靈基於海關總署2000多份材料，形成本地的知識庫，透過語意分割、語意檢索、prompt learning等技術，為從容大模型建構了精準的提示詞，進而能充分發揮大模型的能力，提供使用者準確的政策解答。

雲端從科技內部也孵化了若干大模型應用創業項目，例如大麥數位人直播平台能夠實現直播間智慧搭建、直播預熱語料提供等功能。

面向教育場景，智慧教育AI精靈能夠基於現有課程教綱、題庫等基礎模型，形成自生題庫，根據學生平時表現生成定制習題及學習計劃，並能夠透過學生表現自動產生對應的綜合評價分析，減少老師日常工作負擔。

結語：未來幾年，科技會不斷解鎖場景

在展現語言、數學、推理等基礎通識能力後，大模型正走向產業，展現出在金融、法律、醫學、政策等專業知識領域的應用潛能。

週曦，雲端從科技的董事長和總經理，認為大型模式將會顛覆傳統的互動方式，並主要透過三種形式展現：問答、伴隨和託管。其中，「問答」即當前的GPT；「伴隨」即AI會像一個朋友一樣，伴隨你執行很多的事情；「託管」即一件事主要交給AI來做，類似在網遊中的「掛機訓練」。一旦達到「託管」階段，人們就能夠騰出手來，從而去做更有意義且更感興趣的事情。

他談道，有了整個平台框架，透過基礎大模型建構了基礎能力後，可以不斷增加產業大模型的技能包，那麼就能建構出更強大的產業系統。這個系統可服務於To G、To B、To C的各行各業。

在周曦看來，沒有強大的基礎大模型，直接做行業大模型，不具有長期持續的生命力，因為要想讓行業大模型足夠實用，需要反過來訓練基礎大模型，如果想要讓產業大模型真正在產業上量產使用，必須將效率與成本控製做到極致，而極致最佳化必須掌握基礎大模型。

未來產業的發展取決於不斷湧現的技術突破，而產業應用不單純依賴創意，而是需要技術加持。在未來的幾年裡，科技將不斷開拓新的應用場景，同時場景方也將持續嘗試重構產業效率和體驗。

以上是雲從AI大模型參戰！支持圖文跨模態理解，跟GPT-4拼做中考題的詳細內容。更多資訊請關注PHP中文網其他相關文章！