ChatGPT 是今年年底 AI 圈的新晉頂流，人們驚嘆於它強大的問答語言能力和掌握的程式設計知識。但越是強大的模型，背後的技術要求就越高。
ChatGPT 是在GPT 3.5 系列模型的基礎上，引入「手動標註資料強化學習」（RLHF）來不斷微調預訓練語言模型，旨在讓大型語言模型（LLM）學會理解人類的命令，並學會根據給定的prompt 給出最優的答案。
這種技術思路是當前語言模型的發展趨勢。這類模型雖然很有發展前景的，但模型訓練和微調所需的成本非常高。
根據OpenAI 目前公開的訊息，ChatGPT 的訓練過程共分為三個階段：
首先，第一個階段是類似GPT 3.5 的有監督策略模型，這個基礎模型很難理解人類不同類型指令中蘊含的意圖，也很難判斷生成內容的品質高低。研究人員從 prompt 資料集中隨機抽取了一些範例，然後讓專業的標註人員根據指定 prompt 給出高品質的答案。這個人工過程獲得的 prompt 及其相應高品質答案被用於微調初始的有監督策略模型，使其具備基本的 prompt 理解能力，並初步提高生成答案的品質。
第二階段研究團隊抽取模型根據給定prompt 產生的多個輸出，然後讓人類研究員對這些輸出進行排序，再用排序資料訓練獎勵模型（reward model， RM）。 ChatGPT 採取 pair-wise loss 來訓練 RM。
第三階段研究團隊採用強化學習來增強預訓練模型的能力，利用上一階段學好的 RM 模型來更新預訓練模型參數。
我們可以發現，在 ChatGPT 訓練的三個階段中，只有第三階段不需要使用人工標註數據，而第一第二階段都需要大量的人工標註。因此 ChatGPT 這類模型雖然表現很好，但是為了提高其遵循指令的能力，人工成本非常高。隨著模型規模越來越大，能力範圍也越來越廣，這個問題就會越嚴重，最終成為阻礙模型發展的瓶頸。
一些研究嘗試提出解決這一瓶頸的方法，例如華盛頓大學等機構近期聯合發表了一篇論文《SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions》，提出的新框架SELF-INSTRUCT 透過引導模型本身的生成過程，提升了預訓練語言模型的指令遵循能力。
論文網址：https://arxiv.org/pdf/2212.10560v1.pdf
#SELF-INSTRUCT 是一種半自動化過程，使用來自模型本身的指令訊號對預先訓練的LM 進行指令調整。如下圖所示，整個過程是一個迭代引導演算法。
SELF-INSTRUCT 從有限的種子集開始，引導整個生成過程的手動編寫指令。在第一階段，模型被 prompt 成為新任務生成指令，該步驟是利用現有的指令集來創建更廣泛的指令，以此定義新任務。 SELF-INSTRUCT 也為新產生的指令集建立輸入輸出實例，以用於監督指令調整。最後，SELF-INSTRUCT 也對低品質和重複指令進行修剪。整個過程是重複迭代執行的，最終模型能為大量任務產生指令。
為了驗證新方法的有效性，研究在 GPT-3 上應用 SELF-INSTRUCT 框架，最終產生大約 52k 條指令，82k 實例輸入和目標輸出。研究者觀察到 GPT-3 在 SUPER-NATURALINSTRUCTIONS 資料集中的新任務上比原始模型獲得了 33.1% 的絕對改進，與使用私人使用者資料和人工標註訓練的 InstructGPT_001 表現相當。
為了進一步評估，該研究為新任務整理了一組專家編寫的指令，並透過手動評估表明，使用SELF-INSTRUCT 的GPT-3 效能會大大優於現有使用公共指令資料集的模型，且僅比InstructGPT_001 落後5%。
SELF-INSTRUCT 提供了幾乎不需要手動標註的方法，實作了預訓練語言模型與指令對齊。已有多個工作在類似的方向上做出嘗試，都收穫了不錯的結果，可以看出這類方法對於解決大型語言模型人工標註成本高的問題非常有效。這將讓 ChatGPT 等 LLM 變得更強，走得更遠。
以上是無需人工標註，自生成指令框架打破ChatGPT等LLM的成本瓶頸的詳細內容。更多資訊請關注PHP中文網其他相關文章！
