オープンソースの AI ビデオ ツール。HuggingFace のエンジニアによって構築された、ディレクターになるだけで済みます。

Clapper でビデオを作成するには、ディレクターになるだけで済みます。

Sora が登場してすぐに、ビデオ分野は生成 AI の時代に入ったようです。しかし、私たちは今日に至るまで、OpenAI の公式ビデオ生成ツールをまだ使用しておらず、待ちきれない人々は他の方法を探し始めています。

ここ数週間、オープンソースのビデオ編集ツールである Clapper が人々の注目を集めています。

多くのテクノロジー企業が提供するビデオジェネレーターとは異なり、Clapper は 1 年前にプロトタイプとしてリリースされたオープンソースの AI ストーリー視覚化ツールです。従来のビデオ エディターや、3D シーンを入力として使用する最新の AI エディターを置き換えるように設計されたものではありません。

Clapper の哲学は、さまざまな生成 AI テクノロジーを統合し、インタラクティブで反復的かつ直感的なプロセスを通じて、誰でも AI を使用してビデオを作成できるようにすることです。外部ツール、映画制作、AI エンジニアリングのスキルは必要ありません。 Clapper では、ビデオ ファイルやオーディオ ファイルのシーケンスを直接編集する必要はありません。代わりに、登場人物、場所、天気、期間、スタイルなどの高レベルで抽象的な概念を調整することで、AI エージェントに基づいてストーリーを反復処理します。もっと。

Clapper の著者 Julian Bilcke は、HuggingFace の AI フロントエンド エンジニアです。同氏は、この方向で作業を続けるために、ディレクター モードも開発中であると述べました。目標は、ユーザーが全画面でビデオを再生し、ディレクターの椅子 (またはソファ) に快適に座り、エージェントにコマンドを叫ぶことができるようにすることです。そしてAIに映画を作ってもらいましょう。

ここ数日、Julian Bilcke は、大きなモデルを使用して任意のテキストをタイムラインに変換するなどの新機能を発表しました。 Clapper の人気も高まり、GitHub にはすでに 1,100 個以上のスターが付いています。

• GitHub リンク: https://github.com/jbilcke-hf/clapper
• HuggingFace リンク: https://huggingface.co/spaces/jbilcke-hf/clapper/tree/main
• お試し用URL: https://clapper.app/

使い方

オープンソースツールなので、もちろん、私たちが主に見ているのは、使いやすいです。

AI マスター Karpathy が AI ショートビデオを作成した経験をまだ覚えていますか? 「高慢と偏見」の最初の 3 文をアニメ版にするために、この一流の専門家は丸 1 時間かかりました。文は 3 つ、シーンは 3 つだけですが、このワークフローは 3 つの文よりもはるかに複雑です。彼はまずクロードを使用して元のテキストに基づいて一連の画像プロンプト ワードを生成し、次にこれらのプロンプト ワードをヴィンセント グラフ モデルに入力して対応する画像を生成し、それをビデオ モデルに渡してアニメーションを作成しました。イレブンラボに割り当てられ、最終的にはすべての要素を Veed Studio にまとめました。

そこで、カルパシー氏は終了後、ツイートして「起業家の皆さん、チャンスがやって来ました！市場はこれらのプロセスを統合し、簡素化できるAIツールを緊急に必要としています

」とツイートした。 Clapper は、これらすべての機能を統合したワンストップ プラットフォームにすぎません。

通常、短いビデオを作成したい場合は、次の手順を実行する必要があります。まず、ストーリーと台本が必要です。次に、台本に基づいて絵コンテを描き、次に絵コンテに基づいて素材を撮影または検索し、編集ソフトウェアでそれらをまとめ、アニメーション効果と特殊効果を追加し、その後、セリフと BGM を選択的に追加します。あるいは効果音とか。そこで、映画・テレビ制作業界では、振付、演出、撮影、編集、ポストプロダクション、吹き替えといった分業体制が生まれました。

Clapper では、ビデオ制作は別のロジックに従っています。その各トラックは、Premier や Cutting などの編集ソフトウェアのようなビデオや写真素材に対応するものではなく、特定の種類の作品に対応します。

^{的 Clapper のトラック}

^{ビデオへの AI の使用に関しては、私たちは当事者 A です。 Clapper は、業界最高の AI で構成されたクルーのようなものです。 Clapper には、GPT-4o、Claude 3.5 (Sonnet) などの一連の「一流」大型モデルが組み込まれています。これは当事者 B のエグゼクティブ ディレクターのようなもので、お客様のニーズを対応する「AI ディレクター」に結び付ける責任があります。}

上の図からわかるように、最初のトラックはストーリーボードを表し、Clapper の組み込みの大きなモデルと通信し、API を通じて Vincent ダイアグラム モデルを呼び出し、AI ストーリーボード教師にストーリーボードを生成させます。対応する画像はビデオ画像の基礎として機能します。 Er CLAPPER を通じて、上記の Wensheng マップ モデルにアクセスできます。例として、Clapper が提供するサンプルを取り上げます。次のトラックは、シーン、ナレーション、カメラの視点、BGM、音響効果に対応します。この西部の荒れ地の物語のために、イレブンラボやFal.aiに廃墟からの風の音や銃撃戦からの爆発音を生成するよう依頼することができます。

そして、Clapperには、「話して映画を作る」という夢に向かって本当に大きな一歩を踏み出すかもしれない機能もあります。スクリプトを Clapper に直接インポートし、「ストーリー」列で主人公のキャラクターを慎重に作成できます。

「オズの魔法使い」を例に挙げると、キャラクターにさらにパーソナライズされたキャラクターの説明を追加できるだけでなく、写真をアップロードしてヒロインのドロシーのビジュアルイメージを設定することもできます。つまり、世界中のどの俳優にもこの役を演じてもらうことができ、たとえ18歳のディカプリオがドロシーを演じるのを見たいとしても、それができるということだ。 Clapperの機能は非常に細かく、キャラクターの年齢や音色、各シーンの家具、ドロシーの部屋の家具、冒険の目的地「エメラルドシティ」の家の様子など、すべてを調整することができます。クラッパー調整で調整します。

もちろん、AI を使用して最初に雰囲気のある絵を描くこともでき、これによりインスピレーションと創造性がさらに刺激される可能性があります。

しかしながら、Clapperの機能は動画作成のニーズを十分に考慮しているものの、その効果はやや物足りない。絵の中の登場人物の動きは少し「幽霊的」であるだけでなく、物理的な動きの法則に従っていません。ビデオ全体の効果は動く PPT のようで、ショット間のトランジションや連続性が欠けており、サウンドトラックも AI でいっぱいで、メロディーのない音で、ノイズが含まれています。

生成AIがビデオ制作プロセスを変えるには長い時間がかかるかもしれませんが、Clapperの登場により、従来のビデオ編集ソフトウェアにAI機能をまだ拡張している大手メーカーが提供できる可能性があります。新しい実装アイデア。

参考コンテンツ：

https://news.ycombinator.com/item?id=41221399

https://x.com/aigclink/status/1818 111874531205216

以上がオープンソースの AI ビデオ ツール。HuggingFace のエンジニアによって構築された、ディレクターになるだけで済みます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。