Mari kita bercakap tentang kemunculan semula Sora: orang yang dipandang tinggi dan orang yang dilupakan

Pada 16 Februari, OpenAI mengeluarkan Sora, model blockbuster dalam bidang penjanaan video.

Kepercayaan Sora dalam Scaling Law dan inovasi teknologinya yang tercanggih telah mengekalkannya di hadapan. Pada masa yang sama, ia juga membuktikan sekali lagi bahawa "usaha besar boleh menghasilkan keajaiban" masih digunakan dalam bidang video Vincentian.

Butiran teknikal yang didedahkan oleh Sora masih jauh dari cukup untuk mendapatkan gambaran penuh. Pada masa yang sama, Sora belum lagi dibuka secara rasmi kepada umum. Sejak itu, pemikiran dan perbincangan tentang Sora tidak pernah berhenti.布 Laporan teknikal yang dikeluarkan oleh Openai

Impak terbesar Sora pada keseluruhan bidang AI ialah cara mengoptimumkan dan membetulkan idea dan rangka kerja penjanaan video sedia ada. Ini juga mencetuskan kegilaan untuk mencipta semula Sora yang berterusan sehingga hari ini.

Motivasi untuk menghasilkan semula Sora datang daripada ketekunan teknikal dan cita-cita teknikal juruteknik di satu pihak, dan nilai perniagaan yang boleh diramal pada masa hadapan di pihak yang lain.

Selain itu, tidak boleh diabaikan bahawa institusi penyelidikan teknologi kecerdasan buatan ini, yang diberi jolokan CloseAI, telah menjadi penanda aras dalam industri, dan hampir setiap produk yang dikeluarkan boleh membawa inovasi yang mengganggu. Tetapi OpenAI nampaknya akan pergi lebih jauh dan lebih jauh di jalan mendesak sumber tertutup, yang telah mencetuskan lagi semangat orang ramai untuk menghasilkan semula Sora. Kami boleh percaya bahawa dalam beberapa bulan akan datang, beberapa model seperti Sora akan dikeluarkan satu demi satu dan akan menjadi sumber terbuka.

Lebih sebulan selepas keluaran Sora, apakah perkembangan perbincangan dan pengeluaran semula inovasi teknologinya yang berkaitan? Mari lihat di bawah.

Berkenaan pengeluaran semula Sora, artikel ini bermula dari tiga aspek berikut:

Sudah lebih sebulan sejak Sora dikeluarkan?

• Berapa kemungkinan ia akan berlaku lagi? Apakah asas teknikal di negara ini?
• Adakah Sora seorang model dunia? Bolehkah anda membantu kami mendapatkan AGI? Adakah perlu untuk menghasilkan semula?
• Model seperti Sora

Tiga model yang telah dilancarkan dan banyak dibincangkan ialah Snap Video, Open-Sora 1.0 dan Mora. Video video

snap adalah model seperti sora yang dikeluarkan pada 29 Februari. berkongsi perisian Snap Inc., serta institusi seperti Universiti Trento.

Portal:
• "Kemunculan kumpulan pertama model mirip Sora, Sarabu melancarkan Snap Video, kesannya lebih baik daripada Pika, tidak kalah dengan Gen-2

Open-Sora 1.0

Open -Sora 1.0 ialah model seperti Sora pertama yang bersumberkan terbuka sepenuhnya pada 18 Mac. Ia datang daripada pasukan Colossal-AI Model sumber terbuka ini merangkumi keseluruhan proses latihan, termasuk pemprosesan data, semua butiran latihan dan berat model.

Portal:
• "Jangan tunggu OpenAI, tunggu Open-Sora menjadi sumber terbuka sepenuhnya"
  

Mora

Mora ialah rangka kerja berbilang ejen yang dicadangkan beberapa hari lalu oleh penyelidik dari Lehigh University dan Microsoft Research Rangka kerja ini menyepadukan beberapa ejen AI visual lanjutan untuk meniru keupayaan penjanaan video umum yang ditunjukkan oleh Sora.

Portal: "Menerap keupayaan penjanaan video universal Sora, rangka kerja berbilang agen sumber terbuka Mora ada di sini"

Walaupun kesan pembiakan model semasa masih tidak dapat menandingi Sora, dalam masa lebih sebulan sahaja, Ada telah menjadi penemuan teknologi yang jelas, yang boleh dianggap sebagai isyarat optimistik. Mengikut statistik yang tidak lengkap, hampir 10 pasukan domestik sedang mengeluarkan semula Sora, mari kita tunggu dan lihat.

Inovasi seni bina teknikal yang mendahului DiT

Seni bina DiT (Diffusion Transformer) yang digunakan oleh Sora pada masa ini merupakan inovasi teknologi terbesarnya, tetapi melihat ke belakang, mungkin kemajuan yang berkaitan dalam negeri sudah lama. Seni Bina U-ViT

• Pada September 2022, pasukan Tsinghua telah menyerahkan kertas kerja bertajuk "All are Worth Words: A ViT Backbone for Diffusion Kertas "Model", 2 bulan lebih awal daripada DiT. Kertas kerja ini mencadangkan untuk menggunakan seni bina rangkaian berasaskan Transformer U-ViT untuk menggantikan U-Net berasaskan CNN, yang bertepatan dengan idea Sora untuk mengintegrasikan Transformer dan model penyebaran.

  Portal:"Adakah dijangka syarikat domestik akan membuat Sora?" Pasukan model besar dari Universiti Tsinghua ini memberi harapan》

VDT

Video Diffusion Transformer (VDT) yang didedahkan di laman web arXiv 2 Renmin3 di China pada Mei lalu. rangka kerja penjanaan berdasarkan Transformer, diketuai oleh pasukan dan bekerjasama dengan Universiti California, Berkeley, dan Universiti Hong Kong. Penjelasan terperinci tentang sebab-sebab penggunaan seni bina Transformer juga diberikan.

Portal: "Universiti domestik membina VDT model seperti Sora, Transformer penyebaran video universal diterima oleh ICLR 2024"

• Mungkin dalam inovasi teknologi teras, penerokaan domestik tidak ketinggalan di belakang lengkung Hadapan. Bagaimanapun, disebabkan kekangan sumber dan perancangan jalan teknikal serta sebab-sebab lain, ia tidak dapat mencapai kesan yang serupa dengan Sora sebelum ini.

Sora sudah pasti telah membuktikan laluan yang boleh dilaksanakan secara teknikal, dan penerokaan terkemuka kami dalam seni bina teknikal akan lebih kondusif untuk kami menghasilkan semula Sora, malah kami boleh menjadi lebih optimistik dalam beberapa bidang Selain kesan Sora.

Adakah Sora model dunia?

Satu lagi perbincangan hangat yang dicetuskan oleh Sora ialah mengenai model dunia.

Video yang dihasilkan oleh Sora sudah pasti mempunyai pemahaman tertentu tentang dunia fizikal, seperti "kapal lanun terjerat dalam cawan kopi" klasik, yang boleh dilihat dengan mata kasar dan melibatkan dinamik cecair profesional, cahaya dan ciri-ciri lain dunia fizikal.

Tetapi sesetengah saintis yang diwakili oleh Yann LeCun dengan tegas membuktikan bahawa kaedah latihan Sora tiada kaitan dengan model dunia.

Jadi adakah Sora seorang model dunia Adakah dia memahami dunia fizikal? Perbincangan mengenai perkara ini telah tersebar ke pelbagai forum dan siaran langsung. Dapat dilihat bahawa setiap orang mempunyai pendapat yang berbeza mengenai topik tentang model dunia.

Apa yang kita boleh tahu dengan pasti ialah jika Sora adalah model dunia, maka ideal kecerdasan buatan am (AGI) mungkin tiba lebih awal daripada yang kita jangkakan. Maka ia perlu untuk menghasilkan semula Sora.

Mengenai Sora, kami tetap ingin tahu dan terus meneroka kemungkinan jawapan kepada soalan berikut.

Adakah seni bina/teknologi generasi video Sora sebelum ini masih boleh digunakan? Bagaimana nak guna?

Siapa yang dilupakan selepas Sora? Siapa yang dipandang tinggi?

Selain Sora, bagaimanakah syarikat permulaan/pasukan lain melakukannya? buat apa?

Adakah Sora akan mengubah seni bina teknologi arus perdana? Adakah seni bina yang diwakili oleh DiT akan menjadi pilihan seni bina arus perdana pada masa hadapan?

• Adakah kuasa teknologi domestik membiak Sora? kenapa?

• Hampir 10 pasukan diketahui akan menghasilkan semula Sora.

• Mengapa OpenAI boleh ditiru?

• Selepas Sora, bagaimanakah landskap penjanaan video global? Bagaimanakah ia akan berkembang dan berubah?

• Apakah pendapat anda tentang beberapa syarikat permulaan bintang yang menyatakan secara terbuka bahawa mereka tidak akan melakukan Sora?

• Di manakah masa depan model besar berbilang modal?

• Bagaimana anda melihat kesan Sora daripada perspektif yang berbeza? (Perspektif pelabur, orang bukan teknikal, perusahaan milik kerajaan, usahawan AI, pengamal, dll.)

• Apakah peranan sosial yang dimainkan oleh OpenAI? Apa pendapat anda tentang syarikat ini?

• ...

Impak yang dibawa oleh Sora adalah subversif, jadi penyelesaian masalah di atas akan diteruskan. Sebagai satu pasukan yang menumpukan pada penerokaan dan amalan aplikasi teknologi AI termaju, forum teknologi AI kami sekali lagi memfokuskan pada bidang penjanaan video.

Pada 13 April, di Liudaokou, Beijing, kami merancang forum teknikal untuk memberi tumpuan kepada inovasi teknologi, pemikiran dan amalan aplikasi selepas keluaran Sora. Acara ini akan menghimpunkan ramai tetamu penting, dan kami juga akan membincangkan isu-isu yang disebutkan di atas dengan lebih mendalam.

Pada masa hadapan, saya percaya acara ini boleh memberi kesan positif dan inspirasi tertentu, dengan tujuan untuk mempromosikan pembangunan teknologi dan penyebaran komuniti sumber terbuka AI negara saya.

Barisan tetamu

Forum ini mempunyai barisan tetamu yang kuat Kami telah menjemput:

• Mr. Zhang Junlin, seorang pakar teknikal yang terkenal dalam industri. pembongkaran mendalam teknologi teras Sora
• Pengarang model penjanaan video popular PixelDance, cikgu Zeng Yan dari ByteDance, berkongsi inovasi teknologi dan aplikasi di sebalik PixelDance
• Ketua pasukan model VDT seperti Sora, sebuah syarikat permulaan yang diinkubasi oleh Universiti Renmin China ——Dr. Gao Yizhao, Ketua Pegawai Eksekutif Sophon Engine, memecahkan inovasi teknikal dan amalan VDT ​​secara terperinci
• Pelabur merupakan peranan penting yang tidak boleh dipisahkan daripada AI ​​Sebagai rakan kongsi pelaburan Fengrui Capital, Encik Chen Shi akan mengetuai Pemerhatian unik dari perspektif pelabur/institusi
• Perusahaan milik negara bertindak balas dengan cepat selepas pengeluaran Sora dan menduduki tempat dalam AI ​​bidang. Encik Tong Tong, ketua teknologi algoritma dari China Mobile Information Technology Co., Ltd., akan berkongsi Pemikiran baharunya
• Pemimpin teknikal model seperti Sora Open-Sora 1.0, Encik Bian Zhengda, CTO dari Luchen Technology, akan menguraikan secara terperinci cara menghasilkan semula Sora, serta pemikiran dan amalan unik dari pasukan mereka
• Ada tetamu yang lebih penting untuk dijemput satu demi satu...

Zhang Junlin

Pengarah Persatuan Maklumat Cina China, Ph.D. Institut Perisian, Akademi Sains China

Sedang berkhidmat sebagai editor Weibo yang baharu bertanggungjawab dalam penyelidikan dan pembangunan teknologi, sebelum ini berkhidmat sebagai pakar teknikal kanan di Alibaba dan bertanggungjawab untuk pasukan teknologi baharu. Pengarang buku teknikal "Ini Enjin Carian: Penjelasan Terperinci Teknologi Teras" dan "Rekod Harian Data Besar: Seni Bina dan Algoritma".

Zeng Yan

Jurutera Algoritma di ByteDance Research

Fokus dalam bidang penjanaan video canggih dan canggih seperti Model yang diterajuinya dalam penyelidikan dan pembangunan telah menyediakan perkhidmatan hebat untuk penjanaan video ByteDance, ulasan video pendek, perkhidmatan pelanggan e-dagang, Toutiao, penyelesaian masalah pendidikan dan perniagaan lain, dan dia telah menerbitkan lapan kertas kerja berkaitan sebagai pengarang pertama dalam TPAMI, ICML , CVPR, ACL dan persidangan dan jurnal antarabangsa terkemuka yang lain, dan juga berfungsi sebagai penyemak untuk TPAMI, ICML, NIPS, ICLR dan persidangan lain. Model asas penjanaan video PixelDance yang beliau memimpin penyelidikan dan pembangunan dicapai buat kali pertama dalam industri gabungan dinamik dan kestabilan yang tinggi, dan menjana animasi plot berterusan selama 3 minit buat kali pertama.

陈石

Fengrui Capital Investment Partner

memfokuskan pada pelaburan dalam teknologi, perisian, Internet, penggunaan dan bidang lain. Sebelum menyertai Fengrui Capital, beliau mempunyai pengalaman pengurusan selama 5 tahun di Alibaba Beliau berkhidmat sebagai naib presiden Alibaba Mobile Business Group, eksekutif kanan Alibaba Culture and Entertainment Group, ahli jawatankuasa kelas antarabangsa Youku dan UC, dan terlibat secara mendalam dalam UC. , AutoNavi, Youku dan Tudou , Shenma Search, UC International dan barisan produk perniagaan membuat keputusan dan pelaksanaan pengurusan.

15+ tahun keusahawanan berterusan, sebagai ahli pasukan pengurusan teras, terlibat secara mendalam dalam UC (pelayar mudah alih pihak ketiga terbesar di dunia, yang diperoleh oleh Alibaba pada 2014) dan Lakala (pelayar ketiga yang terkenal syarikat pembayaran pihak di China, SZ: 300773) Dalam proses keusahawanan, beliau masing-masing berkhidmat sebagai naib presiden dan CTO beliau pernah menjadi pengaturcara yang gembira, pakar pertumbuhan pengguna, dan peminat teknologi.

Memiliki ijazah sarjana muda dan ijazah sarjana dalam Kejuruteraan Mekanikal dan Elektrik dari Universiti Aeronautik dan Astronautik Beijing. Pada tahun 2023, beliau telah dinilai sebagai "30 Pelabur Global Global Teratas pada 2023" EqualOcean dan "20 Pelabur Terbaik Terbaik dalam Kecerdasan Buatan dan Data Besar" Jiazi Guangnian pada 2022-2023.

Gao Yizhao

Sophon Engine CEO

Ph.D., Sekolah Kepintaran Buatan China, Renmin University Seorang pakar dalam model besar berbilang modal, beliau telah menerbitkan banyak jurnal dan kertas persidangan terkemuka, dan telah mengetuai pasukan berbilang orang untuk melengkapkan latihan model besar Wenlan. Mengambil bahagian dalam pembangunan dan promosi model dan produk berkaitan enjin Sophon sepanjang proses.

卞 正 达

cto Luchen Technology

lulus dari Universiti Nasional Singapura. dalam sistem AI berprestasi tinggi, pembangun teras sistem Colossal-AI.

Tong Tong

Ketua teknologi algoritma di China Mobile Information Technology Co., Ltd.

Institut Sains Automatik China, Institut Sains Automatik . Pada masa ini, beliau bertanggungjawab untuk penyelidikan dan pembangunan model besar berbilang modal, manusia digital, ejen pintar dan bidang lain di China Mobile Information Technology Co., Ltd., dan telah merealisasikan pelaksanaan teknologi utama seperti gambar Vincent, Vincent video, pengecaman tindakan model besar dan pengesanan sasaran. Menerbitkan sejumlah 12 kertas kerja, 12 paten syarikat, dan 4 penerbitan lembut.

Lebih ramai pakar sedang disahkan, jadi nantikan.

Teknologi dan Aplikasi Penjanaan Video - Era Sora

Forum teknologi AI tapak ini sentiasa mengekalkan pengesanan sensitif penemuan teknologi dalam bidang AI, untuk menerokai kesan Sora ke atas teknologi dan impaknya dengan mendalam kepada semua bidang kehidupan , kami merancang khusus forum teknologi AI "Teknologi dan Aplikasi Penjanaan Video - Era Sora".

Kami berharap dapat membantu perusahaan dan pengamal mengikuti trend pembangunan teknologi dan mempunyai pemahaman yang komprehensif tentang penemuan teknologi dan amalan aplikasi dalam bidang canggih seperti Sora, teknologi penjanaan video, dan model besar pelbagai mod .

Menghadapi serangan penjanaan video AI, hanya dengan mempelajari secara aktif dan berani mencuba, kita boleh merebut aliran teknologi dan menembusinya.

Tidak sabar untuk bertemu anda pada 13 April 2024, di Daerah Haidian, Beijing.

Saluran pendaftaran forum dibuka secara rasmi Imbas kod QR pada poster untuk terus ke halaman acara. Disebabkan lewat keluaran pengenalan tetamu, tempoh diskaun awal untuk forum ini telah dilanjutkan.

Mulai sekarang sehingga 23:55 pada 7 April, anda boleh membeli tiket untuk menyertai persidangan dan mendapat diskaun terus sebanyak 200 yuan, dan menikmati harga tiket early bird istimewa sebanyak 699 yuan (harga asal 899 yuan ). Terdapat lebih banyak diskaun eksklusif untuk pembelian berkumpulan lima orang, sila lihat halaman butiran acara untuk butiran.

Peserta sebelumnya forum teknologi AI tapak ini, sila tambah akaun WeChat Alice secara berasingan untuk mendapatkan akses terus ke pautan diskaun eksklusif.

Sorotan Aktiviti

• Tontonan video aktiviti forum secara percuma dan perisian kursus terbitan sebelumnya "Penyelidikan dan Aplikasi Penjanaan Video" (jika anda telah membeli keluaran sebelumnya, sila hubungi Alice untuk mendapatkan diskaun. Ingat untuk meminta Alice menebus keluaran sebelumnya selepas membeli keluaran ini) Video keluaran)
• Tonton terus video pasca acara dan perisian kursus acara forum "Teknologi dan Aplikasi Penjanaan Video - Era Sora" ini
• Universiti perhimpunan profesor dan pakar teknikal kelas berat dalam industri untuk menguasai teknologi terkini dan meluaskan ufuk teknikal mereka
• Komunikasi bersemuka dengan pakar teknologi, dan hubungan mendalam selepas mesyuarat
• Meliputi pembongkaran teknologi teras, terbaik amalan produk bintang, perbincangan dan prospek masa depan teknologi
• Proses penuh untuk membantu pembelajaran: belajar sebelum dan selepas mesyuarat Pakej hadiah maklumat
• Sertai komuniti pertukaran teknologi penjanaan video berkualiti tinggi dan ikuti teknologi dan maklumat termaju industri
• Nikmati diskaun 15% untuk tiket untuk aktiviti berbayar yang berkaitan di bawah laman web ini

Kumpulan Masyarakat Pertukaran Teknologi

Untuk memudahkan pertukaran teknikal, kami juga telah menubuhkan khas kumpulan pertukaran teknologi penjanaan video Pengamal teknikal yang mengambil berat tentang Sora, penjanaan video dan model besar berbilang modal dialu-alukan untuk mengimbas kod QR untuk menyertai perbualan dan bertukar-tukar butiran teknikal dan pemerhatian industri secara mendalam.

Untuk soalan berkaitan kerjasama perniagaan, pembelian berkumpulan, invois, kandungan dan isu berkaitan lain untuk acara ini, sila tambah Alice, orang yang bertanggungjawab bagi acara ini, atau rujuk melalui e-mel.

WeChat: 15650753618

e-Mail: jiayaning@jiqizhixin.com

About Invois: Selepas pendaftaran yang berjaya, anda boleh memohon invois pada aplikasi Bank Aktiviti selepas acara itu invois ialah versi elektronik Invois VAT am akan dihantar ke alamat e-mel pendaftaran selepas invois berjaya dikeluarkan.

Menjadi sukarelawan forum: Mengambil bahagian dalam pelaksanaan perkara-perkara tertentu di tapak acara, seperti daftar masuk, bimbingan, pengurusan pesanan, dan lain-lain. Makanan kerja disertakan. Pelajar semasa diberi keutamaan. Jika berminat, sila hubungi Alice.

Atas ialah kandungan terperinci Mari kita bercakap tentang kemunculan semula Sora: orang yang dipandang tinggi dan orang yang dilupakan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!