解讀TaskMatrix.AI

ChatGPT在廣泛的開放域任務上展現出令人矚目的強大對話、上下文學習和程式碼產生能力，而且它所獲得的常識知識還可以為特定領域的任務產生高階解決方案概要。不過，除了更強大的學習、理解和生成能力，ChatGPT還有哪些問題需要解決呢？

微軟最近發布了TaskMatrix.AI，可能是人工智慧生態系統中的另一個方向，將基礎模型與數百萬個API連接起來以完成任務，是Toolformer和chatGPT的結合，也可能是LLM的另一個未來。

1. 問題

ChatGPT或GPT-4在一些專業任務中仍然面臨困難，因為它們在預訓練期間缺乏足夠的領域特定數據，或者它們在執行需要準確執行任務的神經網路計算中常出現錯誤。另一方面，還有許多現有的模型和系統（基於符號或基於神經網路），可以非常好地完成一些領域特定的任務。然而，由於不同的實作或工作機制，它們不容與基礎模型相容。

此外，人工智慧的用例是無窮無盡的，不僅在數位世界中提供幫助，而且在物理世界中幫助完成各種任務，從照片處理到控制智慧家庭設備，它可以做的往往超出想像。

因此，需要一種機制，可以利用基礎模型提出任務解決方案的概要，然後自動將概述中的一些子任務與現成的具有特殊功能的模型和系統的API進行匹配，以完成它們。 TaskMatrix.AI 就是這樣一個機制。

2. TaskMatrix.AI 概述

TaskMatrix.AI 透過將基礎模型與現有模型和 API 結合，以服務各種各樣的任務。以下是TaskMatrix.AI 可以執行的任務：

• 人工智慧可以透過將基礎模型作為核心系統來理解不同類型的輸入（例如文字、圖像、視訊、音訊和程式碼），執行數字和物理任務，然後產生程式碼來呼叫API 來完成任務。
• TaskMatrix.AI 有一個 API 平台，作為各種領域任務的儲存庫。這個平台上的所有 API 都有一致的文件格式，這使得基礎模型很容易使用，開發人員也很容易添加新的 API。
• TaskMatrix.AI 具有強大的終身學習能力，因為它可以透過向 API 平台添加具有特定功能的新 API 來擴展其處理新任務的技能。
• 由於任務解決邏輯（即操作程式碼）和 API 的結果都是可以理解的，因此 TaskMatrix.AI 的回應具有更好的可解釋性。

3. TaskMatrix.AI de 體系結構

TaskMatrix.AI的整體架構及其四個主要組成部分：

• 多模態對話基礎模型(MCFM)：它負責與使用者通信，理解他們的目標和(多模態)上下文，並基於API 產生可執行程式碼以完成特定任務。
• API 平台：提供一個統一的 API 文件模式來儲存具有不同功能的數百萬個 API，並允許 API 開發人員或擁有者註冊、更新和刪除他們的 API。
• API 選擇器：根據 MCFM 對使用者指令的理解推薦相關的 API。
• API 執行器：透過呼叫相關 API 執行產生的操作程式碼，並傳回中間和最終執行結果。

這4個子系統共同運作，使TaskMatrix.AI能夠理解使用者目標，並為特定任務執行基於 API 的可執行程式碼。多模態會話基礎模型(MCFM)作為使用者交流的主要接口，可以理解多模態上下文。 API 平台提供了一個統一的 API 文件模式和一個儲存數百萬 API 的地方。 API 選擇器使用 MCFM 對使用者目標的理解來推薦相關的 API。最後，API 執行器執行由相關 API 產生的操作代碼並傳回結果。此外，該團隊還利用人工回饋(RLHF)技術的強化學習來訓練一種獎勵模型，該模型可以優化任務矩陣(taskMatrix)。此方法可以幫助 MCFM 和 API 選擇器找到最優策略，提升複雜任務的效能。

3.1 多模態會話基礎模型(MCFM)

MCFM 有四個輸入：基礎模型的參數、API 平台、使用者指令和會話情境。使用這些輸入，模型產生操作代碼來完成使用者的指令。此外，理想的多模式會話框架模型 (MCFM) 應該具有以下四個主要功能：

• 取得多模式輸入，並根據特定任務的 API 產生可執行程式碼。
• 從使用者指令中提取特定任務並提出解決方案大綱。
• 了解如何從文件中使用 API，並根據常識和 API 使用歷史將其與特定任務進行配對。
• 包含一個明確的程式碼驗證機制來確認可靠性和可信性。

ChatGPT 和 GPT-4 是具有 MCFM 所需的這些能力的兩個模型範例。然而，GPT-4 更適合，因為它支援多模態輸入。

3.2 API 平台

API 平台有兩個主要功能: 儲存 API 和管理 API 的開發者或擁有者。 API 平台有一個統一的 API 文件模板，包括每個 API 文件的五個面向:

• API 名稱: 提供 API 概述並作為操作執行者的入口。
• 參數清單: 包含輸入參數和傳回值，每個參數都有名稱、說明、資料型別和預設值。
• API 描述: 包含有關 API 的功能、工作原理、輸入和輸出以及潛在錯誤或異常的資訊。
• 應用程式範例(可選): 展示如何使用該 API。
• 組合指導(可選): 提供如何組合多個 API 以完成複雜使用者指令的指導。
• API 平台有兩個主要功能: API 的儲存和開發人員或擁有者對 API 的管理。

API 描述範例：開啟一個檔案

<code>API Name: open_local_fileAPI Parameter: (file_path:string, model:string="r"). file_path: string, the pathname (absolute or relative to the current working directory) of the file to be opened.mode: string="r", the mode is an optional string that specifies the mode in which the file is opened. It defaults to "r" which means open for reading in text mode. Other common values are "w" for writing. This file will return a File object or OSError.API Description: Open the file and return a corresponding file object. If the file cannot be opened,an OSError is raised.Usage Example: f = open_local_file("example.txt", "w")Composition Instructions: Open should be used before reading and editing. The file should be closed by close_local_file after all operations.</code>

3.3 API 選擇器

API選擇器旨在從API平台中識別和選擇最適合任務需求的API。它可以透過檢索語意相關的API來減少API平台可能擁有的過多API。 API選擇器可以利用模組策略來快速定位相關的API。

模組策略是指根據API的領域將API組織成特定的套件或模組的方法。每個模組對應於一個特定的區域，例如視覺化模型、數學、特定的軟體或實體設備。透過使用這種策略，API選擇器可以快速定位符合MCFM所理解的任務需求和解決方案大綱的相關API。這種方法有助於簡化API選擇過程，並使從API平台檢索語意相關的API變得更加容易。

3.4 動作執行器

動作執行器被設計用來執行動作程式碼。 AI 使用一個動作執行器來運行各種 API，從簡單的 HTTP 請求到需要多個輸入參數的複雜演算法或 AI 模型。

動作執行器還需要一個驗證機制來提高準確性和可靠性，並確認產生的程式碼的結果是否符合人類指定的任務。

3.5 以人為本的強化學習(RLHF)

TaskMatrix.AI 將利用 RLHF 來增強 MCFM 和 API 選擇器，以便在複雜任務中提供更好的效能。

RLHF 將專門用於優化API 選擇器，使用基於API 回饋的訓練有素的獎勵模型：

• 給API 開發者的回饋
• API開發人員將收到關於他們的API 是否用於完成任務的回饋。

這將允許以最優化的方式建立 API 文件來使用給定的 API。

4. TaskMatrix 的用例

TaskMatrix. AI 可以幫助解決哪些任務呢？

TaskMatrix. AI 與基礎模型、雲端服務、機器人技術和物聯網的持續發展相結合，有潛力創造一個生產力和創造力都有所提高的未來世界。

4.1 視覺化任務

基於MCFM的多模態特性，TaskMatrix.AI可以執行視覺化任務，並且能夠將語言和影像作為輸入。它可以執行的一些視覺任務，下圖顯示了TaskMatrix.AI如何建構在VisualChatGPT之上，並且能夠更好地處理VQA任務。

影像編輯，可以刪除或取代影像中的對象，也可以透過TaskMatrix.AI進行。使用影像處理技術或電腦演算法Image-to-Sketch/Depth/Hed/Line，可以將影像轉換為草圖、深度、整體嵌套的邊緣偵測或線。 Sketch/Depth/Hed/Line-to-Image與上面的相反，它將根據給定的選項生成圖像。

下圖顯示了TaskMatrix.AI如何使用三個API呼叫（圖像問答、圖像字幕和替換圖像中的物件）在解決方案大綱上定義和執行的範例。

4.2 多模態長內容產生

TaskMatrix.AI 的另一個用例是創建大型多模式（圖像和文字）內容，以消除其他模型的字元限制。

在下面的範例中，我們可以看到 TaskMatrix.AI如何從使用者那裡獲得進階指令並產生合理的回應。

4.3 辦公室自動化

TaskMatrix.AI 可以透過理解透過語音接收的使用者指令並使任務自動化來輕鬆減少辦公室的工作量。此外，它還可以在沒有大量培訓的情況下使用複雜的軟體，從而讓員工專注於更緊急的任務。

下面的範例展示了 TaskMatrix.AI 和建立 PowerPoint 投影片時使用不同 API 的人之間的對話。

4.4 雲端服務的利用

TaskMatrix.AI 可以像智慧家庭自動化一樣運作，能夠與家裡的所有設備通訊，並作為它們之間的中心連接點。下面的圖片顯示了一個人和 TaskMatrix.AI 之間的對話，TaskMatrix.AI 利用內部機器人的軟體和硬體來完成日常任務。

此外，TaskMatrix.AI 可以在許多其他場景中使用，唯一的要求是它可以利用 API，例如存取元宇宙或 Web3。

5. TaskMatrix.AI的挑戰

TaskMatrix.AI 仍然有相當多的缺點和局限性需要解決和處理, 例如：

• 對需要創建能夠處理各種任務和各種輸入的基礎模型，從人類回饋中學習，並使用常識推理以最高品質完成任務。確定TaskMatrix.AI所需的最小模態集合並對其進行訓練仍然具有挑戰性。
• 建立和維護一個託管數百萬API 的平台需要解決幾個挑戰，API 文件產生、API 品質保證和API 建立建議，基於此，API 平台應該為API 開發人員提供進一步的指導，以建立新的API 來解決這些任務。
• 利用數百萬個 API 完成使用者指令帶來了新的挑戰，超越了自由文字生成，向 MCFM 推薦相關的 API 來解決特定任務至關重要。對於複雜的任務，TaskMatrix.AI 可能無法立即提出解決方案。相反，MCFM 應與使用者進行交互，嘗試不同的可能解決方案，找出最合適的方案。
• 安全性和隱私性可能是一個問題，需要驗證模型是否完成使用者指令，而不做任何超出使用者意圖的事情。資料傳輸應安全，並在與需要存取敏感資料的不同網域的各種API整合時進行授權的資料存取。
• TaskMatrix.AI需要一種個人化策略來幫助單一開發者建立自己的個人化AI介面，以及幫助使用者擁有自己的個人助理。降低擴展成本，與用戶的少量範例對齊都是挑戰。

6. 小結

回顧摩爾定律，或許，「AI的數量每18個月翻一番」會成為一個新的定律。

TaskMatrix.AI 將基礎模型與數以百萬計的現有模型和系統 API整合起來，從而產生一個能夠執行各種數位和實體任務的「超級人工智慧」。作為一個AI平台，允許人類利用大模型和 API 執行大量多樣化的任務。它能夠處理每一個普通的任務(例如，製作 PPT 幻燈片或按時間表運行清潔機器人來打掃房間) ，讓我們更有生產力和創造力。

【參考文獻】 

TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs,https://arxiv.org/pdf/2303.16434.pdf

########################################################################################################################################################################################################################1 ######

以上是解讀TaskMatrix.AI的詳細內容。更多資訊請關注PHP中文網其他相關文章！