再談復現 Sora：被仰望與被遺忘的

2月16日，OpenAI 發布了影片生成領域的重磅模型 —— Sora。

Sora 對 Scaling Law 的信念及其突破性的技術創新，使它持續保持領先地位。同時，也再次證明了「大力出奇蹟」依然適用於文生影片領域。

Sora 揭露的技術細節，遠遠不足以窺其全貌。同時 Sora 目前也未正式對外開放。源自於此，針對 Sora 的思考與討論從未停止。

                              ^{OpenAI 發佈的技術報告}

AI 之前對整個結構帶來最佳時的校正有的影片生成思路和框架。而也引發了持續至今的復現 Sora 的熱潮。

復現 Sora 的動力，一方面來自技術人員的技術執著與技術理想，另一方面也來自於未來可預期的商業價值。

另外，不容忽視的是，這家持續被戲稱為CloseAI 的人工智慧技術研究機構，已然成為了業界的標桿，幾乎每次發布的產品都能帶來顛覆式的創新。但 OpenAI 似乎在堅持閉源的道路上越走越遠，這更加點燃了大眾對復現 Sora 的熱情。我們可以相信未來的幾個月內，多個類 Sora 模型將會陸續發布，並將開源出來。

Sora 發布後的這一個多月來，其相關技術創新的討論和復現的進度如何？下面我們一起來看看。

關於復現Sora，本文從以下三個面向展開：

##距離Sora 發布一個​​多月了，目前復現的進度如何？
復現的可能性有多大？國內有什麼技術基礎？
Sora 到底是不是世界模型？能否幫助我們抵達 AGI？有沒有必要復現？

類別Sora 模型

#目前已經推出且討論較多的三個模型分別是Snap Video、Open-Sora 1.0，以及Mora。

• Snap Video

##Snap Video 是2月29日發布的類Sora 模型，它使用到了可擴展的時空Transformer，來自開發出SnapChat 圖片分享軟體的Snap 公司，以及特倫託大學等機構。

傳送門：《首批類別Sora模型出現，沙拉布上線Snap Video，效果優於Pika、不輸Gen-2

• Open-Sora 1.0

#Open-Sora 1.0 是3月18日全面開源的首個類Sora 模型，來自Colossal-AI 團隊，此開源模型涵蓋了整個訓練流程，包括資料處理、所有訓練細節和模型權重。

傳送門：《沒等來OpenAI，等來了Open-Sora全面開源》

• Mora

Mora 是由理海大學、微軟研究院的研究者幾天前提出的多智能體框架，該框架整合了幾種先進的視覺AI 智能體，以複製Sora 所展示的通用視訊生成能力。

傳送門：《複刻Sora的通用視訊生成能力，開源多智能體框架Mora來了》

儘管目前的模型復現效果依然無法企及Sora，但是短短一月有餘，已經有明顯的技術突破出現，不失為一個樂觀的信號。據不完全統計，國內已有近 10 支團隊在復現 Sora，讓我們拭目以待。

先於DiT 的技術架構創新

Sora 使用的DiT（Diffusion Transformer ） 架構目前來看是其最大的技術創新，但追溯來看，也許國內相關的進度更早一些。

• U-ViT 架構

                     ^{1                之後#} 

2022年9月，清華團隊提交的名為《All are Worth Words: A ViT Backbone for Diffusion Models》的論文，比DiT 還要早2 個月。該論文提出以基於 Transformer 的網路架構 U-ViT 取代基於 CNN 的 U-Net，這與 Sora 將 Transfomer 和擴散模型融合的想法不謀而合。

傳送門：

《國內公司有望做出Sora嗎？這支清華系大模型團隊給了希望》

• VDT

2023年5月在arXiv 網站上公開的Video Diffusion Transformer (VDT)，是由中國人民大學研究團隊主導，並與加州大學伯克利分校、香港大學等進行合作的，基於Transformer 的Video 統一生成框架。採用 Transformer 架構的原因也給了詳細的解釋。

傳送門：

《國內高校打造類別Sora模型VDT，通用視訊擴散Transformer被ICLR 2024接收》

也許在核心技術的創新上，國內的探索並不落後，而是走在了前面。不過，囿於資源限制以及技術路線規劃等其他原因，未能在先前達到類似 Sora 的效果。

Sora 無疑驗證出了一條技術可行性的道路，而我們本身在技術架構上的領先探索，將更有利於我們復現出Sora，甚至可以更樂觀地相信，在某些領域內超越Sora 的效果。

Sora 是世界模型嗎？

由 Sora 引發的另一個熱點討論，是關於世界模型的。

Sora 產生的影片無疑對物理世界有了一定了解，例如經典的“海盜船在咖啡杯裡糾纏”，肉眼可見能涉及到專業的流體動力學、光線等物理世界的特徵。

但以 Yann LeCun 為代表的部分科學家力證 Sora 的訓練方式和世界模型沒有關係。

那 Sora 是不是世界模型，到底懂不懂物理世界？關於這個討論已經蔓延至各個論壇和直播。可見對於究竟什麼是世界模型這個話題，大家也是見仁見智的。

而我們能明確的是，如果 Sora 是世界模型，那麼通往通用人工智慧（AGI）的理想，可能比我們預期的還要早到達。那復現 Sora 就有了一定的必要性。

關於 Sora，我們保持著好奇，並持續探求以下問題的可能答案。

• Sora 之前的影片產生架構/技術還能不能用？如何用？

• Sora 之後，誰是被遺忘的？誰又是被仰望的？

• Sora 之外，其他新創公司/團隊要如何做？做什麼？

• Sora 會改變主流的技術架構嗎？以 DiT 為代表的架構是以後主流的架構選擇嗎？

• 國內技術力量應不該復現 Sora？為什麼？

• 已知有近 10 支團隊在復現 Sora，我們可能看到的未來​​格局是什麼？

• 為什麼是 OpenAI? OpenAI 的模式能否復刻？

• Sora 之後，全球的影片生成格局是如何的？又將如何發展與改變？

• 如何看待一些明星新創公司公開表示不做 Sora?

• #多模態大模型的未來在哪裡？

• 不同視角下，如何看待 Sora 的衝擊？ （投資人、非技術人、央國企、AI 創業家、從業者等視角）

• OpenAI 扮演著什麼樣的社會角色？你如何看待這家公司？

• ……

Sora 帶來的衝擊是顛覆式的，因此對上述問題的求解將持續進行。而作為聚焦於 AI 前沿技術探索和應用實踐的團隊，本站 AI 技術論壇再次將視線放在了視訊生成領域。

4月13日，在北京六道口，我們策劃了一期技術論壇，聚焦 Sora 發布後的技術創新、思考與應用實踐。活動現場匯集多位重磅嘉賓，同時我們也會更深入探討上述的問題。

在可預見的未來，相信本次活動能產生一定的正面作用和啟發，以期推動我國 AI 開源社群的技術發展和傳播。

嘉賓陣容

這次論壇的嘉賓陣容強大，我們邀請到了：

• #業內的知名技術專家張俊林老師，來一場Sora 核心技術的深度拆解
• 爆火的視頻生成模型PixelDance 的作者，來自字節跳動的曾妍老師，分享PixelDance 背後的技術創新和應用
• 類Sora 模型VDT 的團隊負責人，來自中國人民大學孵化的創業公司——智子引擎的CEO 高一鑷博士，詳細拆解 VDT 的技術創新和實踐
• 投資人是AI 領域離不開的重要角色，陳石老師作為峰瑞資本的投資合夥人，將帶來投資人/機構視角下的獨特觀察
• 國央企在Sora 發布後迅速響應，佔據了AI 領域一席之地，來自中移動信息技術有限公司的演算法技術負責人童同老師，將會分享他的全新思考
• 類Sora 模型Open-Sora 1.0 的技術負責人，來自潞晨科技的CTO 卞正達老師，更是將詳細拆解如何復現Sora，以及來自他們團隊的獨特思考與實踐
• #還有更多重磅嘉賓，陸續邀請中…

#張俊林

#中國中文資訊學會理事，中科院軟體所博士

目前擔任新浪微博新技術研發負責人，先前在阿里巴巴擔任資深技術專家，負責新技術團隊。技術書籍《這就是搜尋引擎：核心技術詳解》、《大數據日知錄：架構與演算法》作者。

已妍

#ByteDance Research 演算法工程師

專注於影片生成和多模態預訓練等領域的前沿研究。主導研發的模型為字節跳動的視訊生成、短視頻審核、電商客服、今日頭條、教育解題等業務提供了有力服務，並以第一作者身份將相關的八篇論文發表在TPAMI, ICML , CVPR, ACL 等國際頂級會議和期刊，同時也擔任了TPAMI, ICML, NIPS, ICLR 等會議的審稿人。主導研發的 PixelDance 影片產生基礎模型在業界首次實現了高動態性和穩定性的結合，並首次產生了3分鐘的連續劇情動畫。

陳石

#

峰瑞資本投資合夥人

#專注於科技、軟體、互聯網、消費等領域的投資。在加入峰瑞資本前，擁有5 年阿里巴巴管理層經歷，曾擔任阿里巴巴移動事業群副總裁、阿里巴巴文化娛樂集團高管、優酷和UC 國際班委，深度參與UC、高德、優酷、土豆、神馬搜尋、UC 國際等產品線的業務決策與管理執行。

15 年連續創業，作為核心管理團隊成員深度參與UC（全球最大第三方手機瀏覽器，2014 年由阿里巴巴收購）和拉卡拉（中國知名第三方支付公司，SZ:300773）的創業過程，分別擔任副總裁和CTO；曾經是一名快樂的程式設計師，使用者成長專家，科技熱愛者。

擁有北京航空航太大學機電工程系學士和碩士學歷。 2023 年獲評 EqualOcean「2023年出海全球化投資TOP30人」、甲子光年「2022-2023 年度人工智慧與大數據最佳投資人TOP20」。

高一鑷

#智子引擎CEO

##中國人民大學高瓴人工智慧學院博士。多模態大模型專家，發表多篇頂尖期刊、會議論文，曾帶領多人團隊完成文瀾大模型訓練。全程參與智子引擎相關模型、產品的開發與推廣。

卞正達

#瀟晨科技CTO

#畢業於新加坡國立大學，曾在全球超算最頂尖會議SC 上發表一作論文，擁有7 年高性能AI 系統經驗，Colossal-AI 系統核心開發者。

童同

#中行動資訊科技有限公司演算法技術負責人

#中國科學院自動化研究所AI 博士。目前在中移動資訊科技有限公司負責多模態大模型、數位人、智慧體等領域研發工作，實現了文生圖、文生影片、大模型動作辨識與目標偵測等關鍵技術的落地應用。共發表論文 12 篇、公司專利 12 項、軟著 4 項。

更多專家正在確認中，敬請期待。 #########視訊生成技術與應用- Sora 時代###################本站AI 技術論壇時刻保持對AI 領域技術突破的敏感追踪，為了深入探討Sora 對科技的衝擊和對各行各業帶來的影響，我們特別策劃了「影片生成技術與應用— Sora 時代」AI 科技論壇。 ###############希望協助廣大企業與實務工作者跟上科技發展潮流，全面了解Sora、視訊生成技術、多模態大模型等前沿領域的技術突破與應用實踐。 ###############面對撲面而來的 AI 影片生成，積極擁抱學習並敢於嘗試，才能抓住技術潮流，破局而生。 ###############期待 2024.04.13，在北京海淀區，和你相遇。 ############

論壇報名頻道正式開啟，掃描海報中二維碼可直達活動頁面。由於嘉賓介紹發佈時間較晚，本場論壇的早鳥優惠期有所延長。

即日起至04月07日23:55，購票參會即可直減200 元， 享699 元早鳥特惠門票 （原價899 元）。五人團購更有專屬優惠，詳見活動詳情頁。

本站 AI 技術論壇往期的參與者，請單獨加入 Alice 微信，直達專屬優惠連結。

活動亮點

• 贈送永久觀看上一期「影片產生前沿研究與應用」論壇活動影片及課程（上期活動已購請聯絡Alice 扣減，本期購買後記得找Alice 兌換上一期視頻）
• #永久觀看本期“視頻生成技術與應用- Sora 時代”論壇活動會後視頻及課件
• 匯聚高校教授及產業界重磅技術專家，掌握最新技術，拓寬技術視野
• 與科技大牛面對面交流，會後深度連結
• 涵蓋核心技術拆解、明星產品最佳實踐、技術未來探討及展望
• 全流程助力學習：會前後學習資料大禮包
• 加入影片產生高品質科技交流社群，及時跟進業界尖端科技與資訊
• 本站旗下相關付費活動享購票八五折優惠

技術交流社群

為了方便技術交流，我們也刻意建立了視訊生成技術交流群，歡迎關心Sora、視訊生成和多模態大模型的技術從業者掃碼加入對話，深入交流技術細節和行業觀察。

關於本次活動商務合作、團購、發票、內容等相關問題，歡迎加​​入本場活動負責人 Alice 或透過電子郵件進行諮詢。

微信：15650753618

信箱：jiayaning@jiqizhixin.com

#關於發票：報名成功後，可於活動結束後，在活動行App 上自行申請發票，發票為電子版增值稅普票，開票成功後會發送到報名郵箱中。

成為論壇志工：參與活動現場的具體事項執行，如簽到、引導、秩序管理等，包工作餐。在校學生優先。有意者請聯絡 Alice。

以上是再談復現 Sora：被仰望與被遺忘的的詳細內容。更多資訊請關注PHP中文網其他相關文章！