穩定擴散官方終於開始處理影片-
發布生成式影片模型Stable Video Diffusion(SVD)。
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529271281.png)
Stability AI官方部落格顯示,全新SVD支援文字轉影片、圖片到影片產生:
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529222875.gif)
##並且還支持物體從單一視角到多視角的轉化,也就是
3D合成:
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529357331.gif)
#根據外部評估,官方宣稱SVD甚至比runway和Pika的影片生成AI更受用戶歡迎。
儘管目前只發布了基礎模型,但官方透露「正計劃繼續擴展,建立類似於穩定擴散的生態系統」
目前論文程式碼權重已上線。
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529350373.png)
近期視訊生成領域不斷湧現新的玩法,如今輪到了Stable Diffusion的出現,以至於網友們紛紛感嘆“快”,這樣進步的速度太快了!
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529386431.png)
但僅從Demo效果來說,更多網友們表示並沒有感到很驚喜。
雖然我喜歡SD,而且這些Demo也很棒……但也存在一些缺陷,光影不對、而且整體不連貫
(視頻幀與幀之間閃爍)。
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529327715.png)
總歸來說這是個開始,網友對SVD的3D合成功能還滿是看好:
我敢保證,很快就會有更好的東西問世,只需要簡單描述一下,就能夠呈現一個完整的3D場景
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529494964.png)
#SD視頻官方版來襲
除了以上所展示的,官方也發布了更多的演示,下面來先看一下:
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529423592.gif)
#太空漫步也安排上:
保持背景靜止,只讓兩隻鳥移動也可以:
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529435741.gif)
SVD的研究論文目前也已發布,據介紹SVD基於Stable Diffusion 2.1,用約6億個樣本的視訊資料集預先訓練了基礎模型。
可輕鬆適應各種下游任務,包括透過對多視圖資料集進行微調從單一影像進行多視圖合成。
經過微調後,官方公佈了兩種圖像到影片模型。這些模型可以根據使用者的需求,以每秒3到30幀的自訂幀速率生成14幀(SVD)和25幀(SVD-XT)的視訊
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529523930.png)
對多視角視訊生成模型進行了微調後,我們將其命名為SVD-MV
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529525415.png)
根據測試結果,在GSO資料集上,SVD-MV得分優於多視角生成模型Zero123、Zero123XL、SyncDreamer:
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529592618.png)
值得一提的是,Stability AI表示SVD目前僅限於研究,不適用於實際或商業應用。 SVD目前也不是所有人都可以使用,但已開放用戶候補名單註冊。
影片生成大爆發
近期,影片產生領域出現了一種「混戰」狀態
前有PikaLabs開發的文生影片AI:
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529511395.gif)
後又有號稱「史上最強大的影片生成AIMoonvalley推出:
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529643186.gif)
##最近Gen-2的
「運動筆刷」功能也正式上線,指哪畫哪:
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529616055.gif)
這不現在SVD又出現了,又有要卷3D影片生成的可能。
但文字到3D生成方面好像還沒有太多進展,網友對這一現像也很是困惑。
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529627533.png)
有人認為數據是阻礙發展的瓶頸:
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529687895.png)
還有一些網友認為問題在於強化學習的能力還不夠強
![Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快](https://img.php.cn/upload/article/000/000/164/170065529796172.png)
家人們對這方面的最新進展有了解嗎?歡迎評論區分享~
論文連結:https://static1.squarespace.com/static/6213c340453c3f502425776e /t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf
需要重新寫的內容是:
以上是Stable Video Diffusion問世! 3D合成功能引關注,網友:進步太快的詳細內容。更多資訊請關注PHP中文網其他相關文章!