隨著大規模語言模式的日漸強大，人們對 AI 模式提出了倫理道德的更高要求。業界在模型規模擴展上有算力資源優勢，但要讓模型更規範可靠，需要學術界的努力。
近日，史丹佛基於 Meta 的 LLaMA 7B 模型微調出一個新模型 Alpaca。研究讓 OpenAI 的 text-davinci-003 模型以 self-instruct 方式產生 52K 指令遵循（instruction-following）樣本，以此作為 Alpaca 的訓練資料。研究團隊已將訓練資料、產生訓練資料的程式碼和超參數開源，後續也將發布模型權重和訓練程式碼。
##實驗結果表明，Alpaca 的許多行為都與text-davinci-003 類似。也就是說，只有 7B 參數的輕量級模型 Alpaca 效能可媲美 GPT-3.5 這樣的超大規模語言模型。
我們來看看 Alpaca 模型是如何做到的。
訓練方法在學術界的預算條件下，訓練高品質的指令遵循模型面臨兩個重要挑戰：強大的預訓練語言模型和高品質的指令遵循數據。
Meta 最近發布的 LLaMA 系列模型解決了第一個挑戰。對於第二個挑戰，2022 年底的 self-instruct 論文提出使用現有的強大語言模型自動產生指令資料。
#論文網址：https://arxiv.org/abs/2212.10560
依照這個方法，Alpaca 使用LLaMA 7B 模型的監督學習在text-davinci-003 以self-instruct 方式產生的52K 指令遵循樣本上進行微調。
#self-instruct 方法概覽。
Alpaca 的研究團隊首先使用self-instruct 種子集中的175 個人工編寫的指令輸出（instruction-output）對，然後用該種子集作為in-context 樣本prompt text-davinci-003 來產生更多指令。該研究透過簡化產生 pipeline 改進了 self-instruct 方法，並顯著降低了成本。
該研究共生成了52K 個不同的指令和相應的輸出作為訓練數據，其中使用了OpenAI 開放的API，成本不到500 美元。由於研究團隊已將訓練資料開源，對於想要復現 Alpaca 的開發者來說，這500美元就省下了。
有了這個指令遵循資料集，該研究下一步使用Hugging Face 的訓練框架微調了LLaMA 模型，並利用了FSDP（Fully Sharded Data Parallel）和混合精度訓練等技術。成本方面，在 8 個 80GB A100 上微調一個 7B LLaMA 模型需要 3 個小時，這對大多數雲端運算供應商來說成本不到 100 美元。
模型評估該研究使用來自 self-instruct 評估集的輸入進行了人工評估，這項工作由 5 名研究團隊的學生完成。該評估集由 self-instruct 論文的作者收集整理，涵蓋了多種用戶導向的 instruction，涉及電子郵件、社交媒體和辦公室工具。
在將 text-davinci-003 和 Alpaca 7B 進行 blind pairwise 比較之後，研究者發現這兩個模型的性能非常相似，並且 Alpaca 略優於 text-davinci-003。
從參數規模的角度來看，Alpaca 遠遠小於 text-davinci-003，行動端甚至也可以運行 7B 的輕量級語言模型。這讓 Alpaca 意義非凡。
除了利用上述靜態的 self-instruct 評估集，該研究還對 Alpaca 模型進行了交互測試，並發現 Alpaca 的表現通常與 text-davinci-003 相似。
以下是研究團隊測試的兩個例子，結果顯示 Alpaca 的輸出良好，並且反映出指令遵循資料集的一般風格。例如，Alpaca 輸出的答案通常比 ChatGPT 更簡潔，這和 text-davinci-003 類似。
在實驗中，Alpaca 也表現出語言模型的幾個常見缺陷，包括幻覺、毒性和刻板印象，其中幻覺問題尤其嚴重。
例如在下圖中，Alpaca 回答坦尚尼亞的首都是達累斯薩拉姆，但實際上應該是多多馬。
此外，Alpaca 能夠產生一些看似良好卻包含錯誤或虛假資訊的文本，這可能會誤導人們。
Alpaca 可能包含許多與底層語言模型和指令調優資料相關的其他缺陷。但是，Alpaca 對機器學習社群仍然具有重要意義，因為它提供了一個相對輕量級的模型，可作為研究重要缺陷的基礎。史丹佛的研究團隊也強調：Alpaca 只可用於學術研究，禁止任何商業用途。
接下來，史丹佛的研究團隊會進一步探究 Alpaca 模型的安全性、理解能力、規模擴展等等。研究團隊希望 Alpaca 能夠促進指令遵循模型的發展。
以上是史丹佛70億參數開源模型媲美GPT-3.5，100美元即可復現的詳細內容。更多資訊請關注PHP中文網其他相關文章！
