剛剛,奧特曼發布OpenAI首個影片生成模型Sora#。
完美繼承DALL·E 3的畫質和遵循指令能力,能產生長達1分鐘的高清影片。
AI想像中的龍年春節,紅旗招展人山人海。
許多孩子好奇地觀望舞龍隊伍,也有人拿出手機記錄,人們各有不同的行為舉止。
雨後東京街頭,潮濕地面反射霓虹燈光影效果堪比RTX ON。
行駛中的列車窗外偶遇遮擋,車內人物倒影短暫出現非常驚艷。
也可以來一段好萊塢大片質感的電影預告片:
垂直螢幕超近景視角下,這隻蜥蜴細節拉滿:
網友直呼game over,工作要丟了:
##甚至有人已經開始「悼念」一整個產業: AI理解運動中的物理世界OpenAI表示,正在教AI理解和模擬運動中的物理世界,目標是訓練模型來幫助人們解決需要現實世界交互的問題
根據文本提示生成視頻,僅僅是整個計劃其中的一步。 目前Sora已經可以產生具有多個角色、包含特定運動的複雜場景,不僅能理解使用者在提示中提出的要求,也了解這些物體在物理世界中的存在方式。
Sora還可以在單一影片中創建多個鏡頭,並依靠對語言的深入理解準確地解釋提示詞,保留角色和視覺風格。 美麗、白雪皚皚的東京熙熙攘攘。鏡頭穿過熙熙攘攘的城市街道,跟著幾個人享受美麗的雪天並在附近的攤位購物。絢麗的櫻花花瓣隨著雪花隨風飄揚。 對於Sora目前存在的弱點,OpenAI也不避諱,指出它可能難以準確模擬複雜場景的物理原理,並且可能無法理解因果關係。
例如“五隻灰狼幼崽在一條偏僻的碎石路上互相嬉戲、追逐”,狼的數量會變化,一些憑空出現或消失。 該模型也可能混淆提示的空間細節,例如混淆左右,並且可能#很難精確描述隨著時間推移發生的事件,例如遵循特定的相機軌跡。
如提示詞「籃球穿過籃框然後爆炸」中,籃球沒有正確被籃框阻擋。 技術方面,目前OpenAI透露的不多,簡單介紹如下:Sora是一種擴散模型,從雜訊開始,能夠一次產生整個影片或擴展影片的長度,
關鍵之處在於 一次產生多幀的預測,確保畫面主體即使暫時離開視野也能保持不變。
與GPT模型類似,Sora使用了Transformer架構,具有強烈的擴展性。
在資料方面,OpenAI將影片和影像表示為patch,類似於GPT中的token。
透過這種統一的資料表示方式,可以在比以前更廣泛的視覺資料上訓練模型,涵蓋不同的持續時間、解析度和縱橫比。
Sora建立在過去對DALL·E和GPT模型的研究之上。它使用DALL·E 3的重述提示詞技術,為視覺訓練資料產生高度描述性的標註,因此能夠更忠實地遵循使用者的文字指令。
除了能夠僅根據文字指令生成視頻之外,該模型還能夠獲取現有的靜態圖像並從中生成視頻,準確地讓圖像內容動起來並關注小細節。
該模型還可以獲得現有影片並對其進行擴展或填充缺少的幀,請參閱技術論文以了解更多資訊(稍後發布)。
Sora 是能夠理解和模擬現實世界的模型的基礎,OpenAI相信這項功能將成為實現AGI的重要里程碑。
目前已有一些視覺藝術家、設計師和電影製作人(以及OpenAI員工)獲得了Sora訪問權限。
他們開始不斷po出新的作品,奧特曼也開始了線上接單模式。
帶上你的提示字@sama,就有可能收到產生好的影片回覆。
以上是效果炸裂! OpenAI首個影片生成模型發布,1分鐘流暢高清,網友:整個產業RIP的詳細內容。更多資訊請關注PHP中文網其他相關文章!