套娃不可取：研究人員證實用AI生成的結果訓練AI將導致模型退化

IT之家 6 月 14 日消息，IT之家的小伙伴們可能都有設想過，如果用 AI 生成的結果來訓練 AI，進行“套娃式訓練”，能得到什麼樣的結果？目前還真有研究團隊對此進行了觀察記錄，詳細論文及得出的結果發表在了 arXiv 上。

一句話總結—— “在訓練中使用模型生成的內容，將導致後續生成的模型出現不可逆轉的缺陷”，說人話就是研究人員發現“用AI 生成的結果訓練AI，只會讓模型變得越來越差」。

▲ 圖表來源 arXiv

據悉，研究人員專門研究了AI 生成模型的機率分佈，主要圍繞著「文字到文字」和「圖像到圖像」展開，最終得出結論：「由於每個模型生成的結果都具有一定的特點，因此用AI 生成的模型訓練AI，隨著時間的推移，後者會忘記真正的底層資料分佈。」

▲ 圖表來源 arXiv

論文的主要作者之一Ilia Shumailov 同時表示「隨著時間的推移，產生資料中的錯誤（IT之家註：例如虛假舉例）會迫使AI 進一步錯誤地感知現實，我們驚訝地觀察到模型崩潰發生的速度相當快，模型可以迅速忘記他們最初從中學習的大部分原始數據。」

但小夥伴可能會有所疑問，如果將 AI 產生的結果經過人工潤飾後再投入模型訓練，是否可以避免模型「退化」？

答案是否定的，研究人員發現“模型退化過程是不可避免的”，因此即使對於“經過潤色後理想化的 AI 輸出內容”，模型在長期學習後，也會出現一定的退化現象。

對於任何大模型而言，由於其學習數據過多，它們都將不可避免地接觸到其他AI 生成的數據，因此研究人員表示“應引入AI 鑑定來挑出可能存在錯誤的學習數據”以提升模型的學習能力與準確性。

以上是套娃不可取：研究人員證實用AI生成的結果訓練AI將導致模型退化的詳細內容。更多資訊請關注PHP中文網其他相關文章！