設想一下，當你站在房間內，準備往門口走去，你是透過自回歸的方式逐步規劃路徑嗎？實際上，你的路徑是一次性整體生成的。
最新研究指出，利用擴散模型的規劃模組可以同時產生長序列的軌跡規劃，更符合人類的決策方式。此外，擴散模型在策略表徵和資料合成方面也能為現有的決策智慧演算法提供更優化的方案。
來自上海交通大學的團隊撰寫的綜述論文《Diffusion Models for Reinforcement Learning: A Survey》梳理了擴散模型在強化學習相關領域的應用。綜述指出現有強化學習演算法面臨長序列規劃誤差累積、策略表達能力受限、互動資料不足等挑戰，而擴散模型已展現出解決強化學習問題中的優勢，並為應對上述長期以來的挑戰帶來新的思路。
論文連結：https://arxiv.org/abs/2311.01223
計畫網址： https://github.com/apexrl/Diff4RLSurvey
此綜述對擴散模型在強化學習中的作用進行了分類，總結了不同強化學習場景中擴散模型的成功案例。最後，綜述展望了未來利用擴散模型解決強化學習問題的發展方向。
圖中展示了擴散模型在經典智能體-環境-經驗回放池循環中的作用。與傳統解決方案相比，擴散模型為系統引入了新的元素，提供了更全面的資訊互動和學習機會。透過這種方式，智能體能夠更好地適應環境變化，並且優化其決策
擴散模型在強化學習中扮演的角色
文章根據擴散模型在強化學習中扮演角色的不同，分類比較了擴散模型的應用方式和特徵。
圖 2：擴散模型在強化學習中扮演的不同角色。
軌跡規劃
# 強化學習中的規劃指透過使用動態模型在想像中做決策，再選擇最大化累積獎勵的適當動作。規劃的過程通常會探索各種動作和狀態的序列，進而提升決策的長期效果。在基於模型的強化學習（MBRL）框架中，規劃序列通常以自回歸方式進行模擬，導致累積誤差。擴散模型可以同時產生多步驟規劃序列。現有文章以擴散模型產生的目標非常多樣，包括 (s,a,r)、(s,a)、僅 s、僅有 a 等等。為了在線上評估時產生高獎勵的軌跡，許多工作使用了有分類器或無分類器的引導採樣技術。
策略表徵
#擴散規劃器更近似傳統強化學習中的MBRL，與之相對，將擴散模型作為策略更類似無模型強化學習。 Diffusion-QL 首先將擴散策略與 Q 學習架構結合。由於擴散模型擬合多模態分佈的能力遠超傳統模型，擴散策略在由多個行為策略所取樣的多模態資料集中表現良好。擴散策略與普通策略相同，通常以狀態為條件產生動作，同時考慮最大化 Q (s,a) 函數。 Diffusion-QL 等方法在擴散模型訓練時加上加權的價值函數項，而 CEP 從能量的視角建構加權迴歸目標，用價值函數作為因子，調整擴散模型學到的動作分佈。
資料合成
#擴散模型可以作為資料合成器，來緩解離線或線上強化學習中資料稀少的問題。傳統強化學習資料增強方法通常只能對原有資料進行小幅擾動，而擴散模型強大的分佈擬合能力使其可以直接學習整個資料集的分佈，再取樣新的高品質資料。
其他類型
除了以上幾類，還有一些零散的工作以其他方式使用擴散模型。例如，DVF 利用擴散模型估計值函數。 LDCQ 先將軌跡編碼到隱空間上，再在隱空間上應用擴散模型。 PolyGRAD 以擴散模型學習環境動態轉移，讓策略和模型互動來提升策略學習效率。
在不同強化學習相關問題的應用
#離線強化學習
##擴散模型的引入有助於離線強化學習策略擬合多模態資料分佈並擴展了策略的表徵能力。 Diffuser 首先提出了基於分類器指導的高獎勵軌跡生成演算法並啟發了大量的後續工作。同時，擴散模型也能應用在多工與多智能體強化學習場景。
圖3：Diffuser 軌跡產生過程與模型示意圖
線上強化學習
研究者證明擴散模型對線上強化學習中的價值函數、策略也具備最佳化能力。例如，DIPO 對動作資料重標註並使用擴散模型訓練，使策略避免了基於價值引導訓練的不穩定性；CPQL 則驗證了單步採樣擴散模型作為策略能夠平衡交互時的探索和利用。
模仿學習
#模仿學習透過學習專家示範資料來重建專家行為。擴散模型的應用有助於提高策略表徵能力以及學習多樣的任務技能。在機器人控制領域，研究發現擴散模型能夠在保持時序穩定性的條件下預測閉環動作序列。 Diffusion Policy 採用影像輸入的擴散模型產生機器人動作序列。實驗顯示擴散模型能夠產生有效閉環動作序列，同時確保時序一致性。
圖4：Diffusion Policy 模型示意圖
軌跡產生
擴散模型在強化學習中的軌跡生成主要聚焦於人類動作生成以及機器人控制兩類任務。擴散模型產生的動作資料或視訊資料被用來建立模擬模擬器或訓練下游決策模型。 UniPi 訓練了一個視訊生成擴散模型作為通用策略，透過連接不同的逆動力學模型來得到底層控制命令，實現跨具身的機器人控制。
圖 5：UniPi 決策流程示意圖。
資料增強量
#擴散模型也可以直接擬合原始資料分佈，在維持真實性的前提下提供多樣的動態擴展資料。例如，SynthER 和 MTDiff-s 透過擴散模型產生了訓練任務的完整環境轉移資訊並將其應用於策略的提升，且結果顯示生成資料的多樣程度以及準確性都優於歷史方法。
圖6：MTDiff 進行多任務規劃和資料增強的示意圖
未來展望
生成式模擬環境
#如圖1 所示，現有研究主要利用擴散模型來克服智能體和經驗回放池的局限性，利用擴散模型增強模擬環境的研究比較少。 Gen2Sim 利用文生圖擴散模型在模擬環境中產生多樣化的可操作物件來提高機器人精密操作的泛化能力。擴散模型還有可能在模擬環境中產生狀態轉移函數、獎勵函數或多智能體互動中的對手行為。
加入安全性限制#
透過將安全約束作為模型的取樣條件，基於擴散模型的智能體可以做出滿足特定限制的決策。擴散模型的引導採樣允許透過學習額外的分類器來不斷加入新的安全約束，而原始模型的參數保持不變，從而節省額外的訓練開銷。
檢索增強生成
#檢索增強生成技術能夠透過存取外部資料集增強模型能力，在大語言模型上得到廣泛的應用。透過檢索與智能體當前狀態相關的軌跡並輸入到模型中，基於擴散的決策模型在這些狀態下的表現同樣可能得到提升。如果檢索資料集不斷更新，智能體有可能在不重新訓練的情況下表現出新的行為。
組合多種技能
#與分類器引導或無分類器引導結合，擴散模型可以組合多種簡單技能來完成複雜任務。離線強化學習中的早期結果也表明擴散模型可以共享不同技能之間的知識，從而有可能透過組合不同技能實現零樣本遷移或持續學習。
表格
#圖 7：相關論文總結分類表格。
