GPT充當大腦，指揮多個模型協作完成各類任務，通用系統AutoML-GPT來了

目前，AI 模型雖然已經涉及非常廣泛的應用領域，但大部分AI 模型是為特定任務而設計的，它們往往需要大量的人力來完成正確的模型架構、優化演算法和超參數。 ChatGPT、GPT-4 爆火之後，人們看到了大型語言模型（LLM）在文本理解、生成、互動、推理等方面的巨大潛力。一些研究者嘗試利用 LLM 探索通往通用人工智慧（AGI）的新道路。

近期，來自德州大學奧斯汀分校的研究者提出一種新思路－ 開發任務導向prompt，利用LLM 實現訓練pipeline 的自動化，並基於此想法推出新型系統AutoML-GPT。

論文網址：

https: //www.php.cn/link/39d4b545fb02556829aab1db805021c3

##AutoML-GPT 使用GPT 作為各種AI 模型之間的橋樑，並以最佳化的超參數來動態訓練模型。 AutoML-GPT 動態地接收來自 Model Card [Mitchell et al., 2019] 和 Data Card [Gebru et al., 2021] 的使用者請求，並組成對應的 prompt 段落。最後，AutoML-GPT 透過此 prompt 段落自動進行多項實驗，包括處理資料、建構模型架構、調整超參數和預測訓練日誌。

AutoML-GPT 透過最大限度地利用其強大的 NLP 能力和現有的人工智慧模型，解決了各種測試和資料集中複雜的 AI 任務。大量實驗和消融研究表明，AutoML-GPT 對許多人工智慧任務（包括 CV 任務、NLP 任務）是通用的、有效的。

AutoML-GPT 簡介

AutoML-GPT 是一個依賴資料和模型資訊來格式化 prompt 輸入段落的協作系統。其中，LLM 作為控制器，多個專家模型作為協作的執行者。 AutoML-GPT 的工作流程包括四個階段：資料處理、模型架構設計、超參數調整和訓練日誌產生。

具體來說，AutoML-GPT 的工作機制如下：

• 透過Model Card 和Data Card 產生固定格式的prompt 段落
• 建立訓練pipeline，在選定的資料集和模型架構上處理使用者需求

##### #產生效能訓練日誌並調整超參數############根據自動建議的（auto-suggested）超參數調整模型############### ##輸入分解###############AutoML-GPT 的第一個階段是讓LLM 接受使用者輸入。為了提高 LLM 的性能並產生有效的 prompt，研究對輸入 prompt 採用特定的指令。這些指令包括三個部分：Data Card、Model Card、評估指標和附加要求。 ############如下圖2 所示，Data Card 的關鍵部分由資料集名稱、輸入資料集類型（如圖像資料或文字資料）、標籤空間（如類別或解析度）和預設評估指標組成。 #####################如下圖 3 所示，Model Card 由模型名稱、模型結構、模型描述和架構超參數組成。透過提供這些信息，Model Card 能告知 LLM 整個機器學習系統使用了哪些模型，以及使用者對模型架構的偏好。 ################

除了 Data Card 和 Model Card，使用者還可以選擇要求更多的評估基準、評估指標或任何約束。 AutoML-GPT 將這些任務規格作為高階指令提供給 LLM，用於相應地分析使用者需求。

當有一系列需要處理的任務時，AutoML-GPT 需要為每個任務配對對應的模型。為了達到這個目標，首先系統需要取得 Model Card 和使用者輸入中的模型描述。

然後，AutoML-GPT 使用 in-context 任務 - 模型指派機制，動態地為任務指派模型。這種方法透過將模型描述和對用戶需求的更好理解結合起來，實現了增量模型（incremental model）訪問，並提供了更大的開放性和靈活性。

以預測訓練日誌調整超參數

#AutoML-GPT 根據Data Card 和Model Card 設定超參數，並透過產生超參數的訓練日誌來預測效能。系統自動進行訓練並傳回訓練日誌。在資料集上的模型性能訓練日誌記錄了訓練過程中收集的各種指標和信息，這有助於了解模型訓練進展，找出潛在問題，以及評估所選架構、超參數和優化方法的有效性。

實驗

為了評估AutoML-GPT 的效能，該研究使用ChatGPT（OpenAI 的GPT-4 版本）來實現它，並進行多項實驗從多個角度展示了AutoML-GPT 的效果。

下圖4 展示了使用AutoML-GPT 在未知資料集上訓練的結果：

下圖5 展示了AutoML-GPT 在COCO 資料集上完成目標偵測任務的過程：

##下圖6 展示了AutoML-GPT在NQ 開放資料集（Natural Questions Open dataset，[Kwiatkowski et al., 2019]）上的實驗結果：

該研究也使用XGBoost 在UCI Adult 資料集[Dua and Graff, 2017] 上評估了AutoML-GPT，以探討其在分類任務上的效能，實驗結果如下圖7 所示：

#有興趣的讀者可以閱讀論文原文，了解更多研究細節。

以上是GPT充當大腦，指揮多個模型協作完成各類任務，通用系統AutoML-GPT來了的詳細內容。更多資訊請關注PHP中文網其他相關文章！