套娃不可取:研究人員證實用AI生成的結果訓練AI將導致模型退化

王林
發布: 2023-06-15 21:27:50
轉載
1097 人瀏覽過

IT之家 6 月 14 日消息,IT之家的小伙伴們可能都有設想過,如果用 AI 生成的結果來訓練 AI,進行“套娃式訓練”,能得到什麼樣的結果?目前還真有研究團隊對此進行了觀察記錄,詳細論文及得出的結果發表在了 arXiv 上。

一句話總結—— “在訓練中使用模型生成的內容,將導致後續生成的模型出現不可逆轉的缺陷”,說人話就是研究人員發現“用AI 生成的結果訓練AI,只會讓模型變得越來越差」。

套娃不可取:研究人員證實用AI生成的結果訓練AI將導致模型退化

▲ 圖表來源 arXiv

據悉,研究人員專門研究了AI 生成模型的機率分佈,主要圍繞著「文字到文字」和「圖像到圖像」展開,最終得出結論:「由於每個模型生成的結果都具有一定的特點,因此用AI 生成的模型訓練AI,隨著時間的推移,後者會忘記真正的底層資料分佈。」

套娃不可取:研究人員證實用AI生成的結果訓練AI將導致模型退化

▲ 圖表來源 arXiv

論文的主要作者之一Ilia Shumailov 同時表示「隨著時間的推移,產生資料中的錯誤(IT之家註:例如虛假舉例)會迫使AI 進一步錯誤地感知現實,我們驚訝地觀察到模型崩潰發生的速度相當快,模型可以迅速忘記他們最初從中學習的大部分原始數據。」

但小夥伴可能會有所疑問,如果將 AI 產生的結果經過人工潤飾後再投入模型訓練,是否可以避免模型「退化」?

答案是否定的,研究人員發現“模型退化過程是不可避免的”,因此即使對於“經過潤色後理想化的 AI 輸出內容”,模型在長期學習後,也會出現一定的退化現象。

對於任何大模型而言,由於其學習數據過多,它們都將不可避免地接觸到其他AI 生成的數據,因此研究人員表示“應引入AI 鑑定來挑出可能存在錯誤的學習數據”以提升模型的學習能力與準確性。

以上是套娃不可取:研究人員證實用AI生成的結果訓練AI將導致模型退化的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:sohu.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板