Alat video AI sumber terbuka, anda hanya perlu menjadi pengarah, dibina oleh jurutera HuggingFace

Untuk membuat video dengan Clapper, anda hanya perlu menjadi pengarah.

Sebaik sahaja Sora keluar, medan video nampaknya sudah memasuki era AI generatif. Tetapi sehingga hari ini, kami masih belum menggunakan alat penjanaan video rasmi OpenAI, dan orang yang tidak sabar telah mula mencari kaedah lain.

Dalam beberapa minggu kebelakangan ini, Clapper, alat penyuntingan video sumber terbuka, telah menarik perhatian orang ramai.

Tidak seperti penjana video yang disediakan oleh banyak syarikat teknologi, Clapper ialah alat visualisasi cerita AI sumber terbuka yang dilancarkan sebagai prototaip setahun yang lalu. Ia tidak direka untuk menggantikan editor video tradisional atau editor AI moden yang menggunakan adegan 3D sebagai input.

Falsafah Clapper adalah untuk menghimpunkan pelbagai teknologi AI generatif untuk membolehkan sesiapa sahaja mencipta video menggunakan AI melalui proses interaktif, berulang dan intuitif. Tiada alat luaran, pembikinan filem atau kemahiran kejuruteraan AI diperlukan. Dalam Clapper, anda tidak perlu mengedit terus jujukan fail video dan audio, sebaliknya mengulangi cerita anda berdasarkan Ejen AI dengan melaraskan konsep abstrak peringkat tinggi seperti watak, lokasi, cuaca, tempoh masa, gaya dan lebih.

Pengarang Clapper Julian Bilcke ialah jurutera hadapan AI di HuggingFace. Dia berkata bahawa untuk terus bekerja ke arah ini, dia juga sedang membangunkan mod pengarah: matlamatnya adalah untuk membolehkan pengguna memainkan video dalam skrin penuh, duduk dengan selesa di kerusi pengarah (atau sofa), menjerit arahan kepada Ejen, dan biarkan AI membuat filem.

Dalam beberapa hari kebelakangan ini, Julian Bilcke telah melancarkan ciri baharu seperti menggunakan model besar untuk menukar teks sewenang-wenangnya kepada garis masa. Populariti Clapper juga telah meningkat, dan ia sudah mempunyai lebih daripada 1,100 bintang di GitHub.

• Pautan GitHub: https://github.com/jbilcke-hf/clapper
• Pautan HuggingFace: https://huggingface.co/spaces/jbilcke-hf/
• URL Percubaan: https://clapper.app/

Cara menggunakan

Memandangkan ia adalah alat sumber terbuka, perkara utama sama ada ia adalah alat sumber terbuka. adalah mudah untuk digunakan.

Adakah anda masih ingat pengalaman AI master Karpathy mencipta video pendek AI? Untuk menukar tiga ayat pertama "Pride and Prejudice" menjadi versi animasi, pakar terkemuka ini mengambil masa sejam penuh. Walaupun terdapat hanya tiga ayat dan tiga adegan, aliran kerja ini jauh lebih rumit daripada tiga ayat. Dia mula-mula menggunakan Claude untuk menghasilkan satu siri perkataan gesaan imej berdasarkan teks asal, kemudian masukkan perkataan gesaan ini ke dalam model graf Vincent untuk menjana imej yang sepadan, dan kemudian menyerahkannya kepada model video untuk membuat tugasan alih suara telah ditugaskan kepada Elevenlabs, dan akhirnya dia meletakkannya di Veed Studio.

Jadi, selepas Karpathy selesai, dia tweet untuk mengadu, berkata: "Usahawan, peluang telah tiba! Pasaran memerlukan alat AI yang boleh menyepadukan dan memudahkan proses ini." Clapper adalah satu platform sehenti yang menyepadukan semua ciri ini.

Biasanya jika anda ingin membuat video pendek, anda perlu melalui langkah-langkah berikut. Mula-mula, anda memerlukan cerita dan skrip, kemudian lukis papan cerita berdasarkan skrip, kemudian rakam atau cari bahan berdasarkan papan cerita, letakkannya bersama-sama dalam perisian penyuntingan, tambah kesan animasi dan kesan khas, kemudian tambahkan perkataan lisan dan muzik latar belakang secara selektif. Atau kesan bunyi. Oleh itu, pembahagian kerja dalam industri penerbitan filem dan televisyen seperti koreografi, pengarahan, fotografi, penyuntingan, pasca produksi, dan alih suara wujud.

Di Clapper, pengeluaran video mengikut logik lain. Setiap trek itu tidak sepadan dengan bahan video atau gambar seperti Premier, Cutting dan perisian penyuntingan lain, tetapi sepadan dengan jenis kerja tertentu.

                                                                                                                                                                                                                                                                                                                                                                             的 Jejak Clapper

^{Dalam soal menggunakan AI untuk video, kami adalah Parti A. Clapper adalah seperti krew yang terdiri daripada AI terbaik dalam industri. Clapper mempunyai siri model besar "terkemuka" terbina dalam seperti GPT-4o, Claude 3.5 (Sonnet), dsb. Ia seperti pengarah eksekutif Party B, bertanggungjawab untuk menyambungkan keperluan anda kepada "pengarah AI" yang sepadan.}

Seperti yang anda lihat daripada gambar di atas, trek pertama mewakili papan cerita dan bercakap dengan model besar terbina dalam Clapper Ia akan memanggil model rajah Vincent melalui API dan membiarkan guru papan cerita AI menjana Gambar yang sepadan berfungsi sebagai asas untuk imej video. Er Melalui CLAPPER, anda boleh mengakses model peta Wensheng di atas Ambil sampel yang diberikan oleh Clapper sebagai contoh Trek seterusnya sepadan dengan pemandangan, narasi, perspektif kamera, muzik latar dan kesan bunyi. Anda boleh meminta ElevenLabs atau Fal.ai menjana beberapa bunyi angin daripada runtuhan atau letupan daripada pertempuran senjata untuk cerita tanah terbiar Barat ini.

Dan Clapper juga mempunyai ciri yang mungkin benar-benar mengambil langkah besar ke arah impian "membuat filem dengan bercakap". Kami boleh mengimport terus skrip ke dalam Clapper dan mencipta watak untuk protagonis anda dengan teliti dalam lajur "Cerita".

Mengambil "The Wizard of Oz" sebagai contoh, kami bukan sahaja boleh menambah penerangan watak yang lebih diperibadikan pada watak, tetapi juga memuat naik gambar untuk menetapkan imej visual untuk heroin Dorothy. Ini bermakna kita boleh meminta mana-mana pelakon di dunia memainkan peranan ini, walaupun anda mahu melihat DiCaprio yang berusia 18 tahun bermain Dorothy, anda boleh melakukannya. Fungsi Clapper sangat terperinci sehingga anda boleh melaraskan umur dan warna watak, kelengkapan setiap adegan, perabot apa yang ada di dalam bilik Dorothy, dan rupa rumah di destinasi pengembaraan mereka "Emerald City", semuanya boleh dilaraskan dalam Clapper.

Sudah tentu, anda juga boleh menggunakan AI untuk melukis beberapa gambar suasana terlebih dahulu, yang mungkin merangsang lagi inspirasi dan kreativiti anda.

Namun, walaupun fungsi Clapper telah mempertimbangkan sepenuhnya keperluan untuk membuat video, kesannya agak tidak memuaskan. Bukan sahaja pergerakan watak-watak dalam gambar itu agak "hantu", mereka tidak mengikut undang-undang pergerakan fizikal. Kesan keseluruhan video adalah lebih seperti PPT yang bergerak, tiada peralihan dan kesinambungan antara tangkapan, dan runut bunyi juga penuh dengan AI, bunyi tanpa melodi dan mempunyai sedikit bunyi.

Ia mungkin mengambil masa yang lama untuk AI generatif untuk mengubah proses pengeluaran video, tetapi kemunculan Clapper mungkin dapat menyediakan pengeluar utama yang masih mengembangkan fungsi AI untuk perisian penyuntingan video tradisional yang Dibangunkan idea pelaksanaan baharu.

Kandungan rujukan:

https://news.ycombinator.com/item?id=41221399

18 111874531205216

Atas ialah kandungan terperinci Alat video AI sumber terbuka, anda hanya perlu menjadi pengarah, dibina oleh jurutera HuggingFace. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!