DAMOアカデミー、新たなAIワークフローを構築するワンストップAI動画作成プラットフォーム「Xunguang」をリリース

今年は AI ビデオ生成の爆発的な初年度であり、Sora に代表されるアルゴリズム モデルや製品アプリケーションが絶えず登場しています。わずか数か月の間に、数十のビデオ生成ツールがリリースされ、AI ベースのビデオ作成が本格化し始めています。

しかし、新しいテクノロジーは、「ブラインドボックスを開く」というよく知られた現象に加えて、その制御性の低さと処理ワークフローの煩雑さでも頻繁に批判されています。

OpenAI はかつて、Sora をテストするためにプロのビデオ制作チームを招待しました。その中で、トロントの Shy Kids チームは、Sora を使用してバルーンマンをテーマにした短編映画を制作しました。これにより、創造性と AI テクノロジーが完璧に組み合わされ、人々が感動した。

実際、短編映画全体は Sora の直接出力の結果ではなく、Sora が異なるビデオを生成する場合、主人公の一貫性を確保することが困難です。そのため、最終的な短編映画の効果を提示する前に、多くの手動によるポスト編集が導入されました。 Shy Kids の作成者は、「Sora のテクノロジーは優れていますが、その生成プロセスを制御するのが難しい

」と結論付けました。生成されたコンテンツの正確な制御は、AI ビデオ作成における重要な要件であり、今日のアルゴリズムが直面しているものでもあります。大きな挑戦です。

この目的のため、閉幕したばかりの上海世界人工知能会議(WAIC)において、DAMOアカデミーはワンストップAIビデオ作成プラットフォーム「Xunguang」をリリースしました。

PUGC のワンストップ AI ビデオ作成プラットフォームとして位置付けられており、ユーザーのスクリプト、ストーリーボードなどの作成を支援し、ワークフロー統合を通じてクリエイティブ プロセス全体の効率を向上させ、生成および生成のための豊富な AI をサポートします。素材のアップロード編集では、キャラクター制御、シーン制御、スタイル転送、カメラ移動制御、ターゲットの追加・削除・変更など10種類以上のAI編集機能を備え、映像内の要素やオブジェクトを正確に制御できます。

Dharma Academy は、Xunguang プラットフォームを通じて AI ビデオ作成の効率をさらに向上させたいと考えています。その目標は、AI 機能を使用して従来のビデオ制作プロセス全体を再構築し、AI 時代の新しいビデオ ワークフローを作成することです。 。

業界初

レイヤーベースのビデオ編集

Xunguangの研究開発の初期段階で、DAMOアカデミーは映画やテレビのメディア専門家と広範かつ集中的な研究も実施しましたとクリエイターは、ビデオ AIGC 作成のニーズと問題点を理解できます。彼らは、ほぼすべてのビデオ クリエイターの間で、ビデオ レイヤーが最も頻繁に言及され、最も緊急なニーズであることを発見しました。

これに基づいて、Xunguang Platformは業界で初めて体系的なビデオレイヤー編集機能を開始しました。テキストを入力すると、テキストの説明と一致し、背景が透明なビデオを生成し、ワンクリックで他の背景ビデオにブレンドできます。従来のビデオ生成機能に基づいて、コンテンツはレイヤーなどのより柔軟な形式で生成されます。

Xunguang はレイヤー分解機能も提供しており、ワンタップで選択したターゲットがすぐに別々のレイヤービデオに分解され、異なる背景ビデオをスムーズに埋め込むことができます。

ユーザーは、異なる前景レイヤーを異なる背景と融合して、より多くの新しいビデオを組み合わせることができます。レイヤー フュージョンの機能は、複数のショット間のシーンとキャラクターの一貫性を維持しながら、AI の創造性と想像力をさらに刺激します。

DAMOアカデミーの見解では、AIはクリエイターの仕事を置き換えるのではなく、ビデオ作成のワークフローを最適化し、創造性を原動力とする新しいエンジンとなるでしょう。

ワンストップのAI作成プラットフォーム

よりシンプルなインタラクション、より豊富な編集機能

スクリプト作成、ストーリーボードデザイン、マテリアル編集...従来のビデオ作成ステップは明確な分業です, サイクルが長いです。 AI テクノロジーのサポートにより、もともとさまざまな生産プロセスに分散されていたクリエイティブなステップが、光探索プラットフォーム上でスムーズに完了できるようになりました。

「私たちは、ビデオ編集を ppt の操作と同じくらいシンプルで直感的で使いやすいものにしたいと考えています。」 Damo Academy のビジュアルテクノロジー研究所の上級アルゴリズム専門家である Chen Weihua 氏は、現場で次のようなことを紹介しました。光を求めるプラットフォームはインタラクションの側面です。

Xunguang プラットフォームは、設計時に AI ビデオ作成の特性を完全に考慮し、各ビデオ プロジェクトを複数のサブショットに抽象化します。ユーザーは、スクリプトに基づいてサブショットのグループを自動的に生成したり、アップロードしたりできます。オリジナルのビデオ素材自体が、アルゴリズムによって複数のサブショットに分割されます。

クリエイティブスペースでは、シーン内の複数のショットをドラッグアンドドロップすることで、シーン間の順序を簡単に調整できます。ユーザーは、任意の場所に新しいサブショットを追加および作成したり、画像生成またはビデオ生成機能を呼び出してコンテンツを生成したり、さまざまな既存のマテリアルを追加したりすることもできます。

Xunguang は、ショットごとに、処理用の完全かつインテリジェントな AI ビデオ編集機能を提供します。これは、ユーザーの意図に基づいてピクセル レベルではなくセマンティック レベルで編集できます。スプリットショットの人体、顔、前景、背景などのローカルターゲットを細かく編集・修正することができます。

たとえば、空間的な被写界深度のカメラの動きの制御を理解すること、

別の例として、オブジェクト間の相対関係のターゲットの削除/変更を理解できること。

ビデオのグローバル要素の編集に関して、光検出プラットフォームは 20 を超えるスタイルの移行を提供します。

Xunguang は、フレームレート制御やビデオ超解像度などの実用的なビデオ編集機能も提供します。

「ユーザーに最大限の自由な制作を提供するために、ビデオ内のすべての要素を編集および変更できることを願っています」とチェン・ウェイホア氏は述べています。

最後に書きました

現在、AIGCには変化の波が押し寄せており、AIは新たな動画ワークフローを生み出す可能性を秘めています。プロの映画やテレビの専門家も、創作を愛する UGC ユーザーも、その恩恵を受けるでしょう。

「仕事をうまくやり遂げたいなら、まず自分のツールを磨く必要があります。」 Damo Academy は、Xunguang ビデオ作成プラットフォームがすべてのクリエイターのための独占的なビデオ スタジオとなり、AI とクリエイターのより密接な関係を実現できることを望んでいます。 、効率的なコラボレーションにより、AI の生産性が真に解放されます。

この目的のために、DAMOアカデミービジョンテクノロジー研究室は多くの技術的留保を行ってきました。この研究室は、マルチモーダル視覚信号の理解と生成技術の研究に注力しています。現在の主要な研究方向には、より正確な画像/ビデオ/3D コンテンツの生成、より制御可能な画像/ビデオ/3D コンテンツの編集、およびより効率的なフレームの生成が含まれます。 、マルチモーダルな理解 - 生成フレームなど。

Chen Weihua 氏は、「Xunguang」は近い将来に内部テスト用にリリースされ、引き続きインタラクションを繰り返し最適化する予定であると述べました。クリエイターは独自の AI ワークフローをカスタマイズすることができます。

^{社内ベータ版アプリケーションのアドレス:}

^{https://xunguang.damo-vision.com/}

以上がDAMOアカデミー、新たなAIワークフローを構築するワンストップAI動画作成プラットフォーム「Xunguang」をリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。