Stable Diffusion XL Turbo は「リアルタイム」速度で AI 画像を生成できます

Stable Diffusion XL Turbo (SDXL Turbo) は、自宅でも驚くほどのスピードで詳細な画像を作成します。

火曜日、Stability AI は「Stable Diffusion XL Turbo」と呼ばれる人工知能画像合成モデルをリリースしました。モデルは、書かれたプロンプトに基づいて画像を迅速に生成できます。実際、このモデルは非常に高速なので、Web カメラなどのソースからの画像を迅速に変換することもできるため、同社はこのモデルを「リアルタイム」画像ジェネレーターとして宣伝しています。

SDXL Turbo の主な革新は、1 ステップで画像出力を生成できる機能であり、以前のバージョンで必要だった 20 ～ 50 ステップから大幅に削減されます。 Stability AI は、この効率の飛躍的な向上は、敵対的拡散蒸留 (ADD) と呼ばれる技術によるものであると考えています。 ADD は、モデルが既存の画像合成モデルから学習する部分抽出と、実際の画像と生成された画像を区別するモデルの能力を強化する敵対的損失を使用し、出力の信頼性を向上させます。

火曜日に公開された ADD テクノロジーに焦点を当てた研究論文では、Stability AI がモデルの内部動作について詳しく説明しています。 SDXL Turbo の利点の 1 つは、特にシングルステップ画像出力の生成における敵対的生成ネットワーク (GAN) との類似性です。

SDXL Turbo の画像は、SDXL で高解像度で生成された画像ほど詳細ではないため、以前のモデルを完全に置き換えるものではありません。ただし、驚くべきスピードで時間を節約できます

それを試すために、Automatic111 (SDXL の重みと同じ重みの低下) を使用して Nvidia RTX 3060 で SDXL Turbo をネイティブに実行しました。20 ステップと比較して約 4 秒で 3 ステップの 1024×1024 画像が生成されました。同様の詳細の SDXL 画像には 26.4 秒かかります。小さい画像の生成ははるかに速くなります (512×768 の場合は 1 秒未満)。もちろん、RTX 3090 や 4090 などのより強力なグラフィックス カードを使用すると、生成時間も短縮されます。 Stability のマーケティングとは対照的に、SDXL Turbo 画像は画像あたり約 3 ～ 5 ステップで最も詳細な画像が得られることがわかりました。

SDXL Turboの生成速度はいわゆる「リアルタイム」です。 Stability AI によると、AI によって調整された強力なグラフィックス プロセッサである NVIDIA A100 では、このモデルはエンコード、1 回のノイズ除去ステップ、デコードを含めて 512×512 の画像を 207 ミリ秒で生成できるそうです。一貫性の問題が解決できれば、このような速度により、AI ビデオ フィルターのリアルタイム生成や実験的なビデオ ゲーム画像の生成につながる可能性があります。この場合、一貫性とは、複数のフレームまたは世代にわたって同じテーマを維持することを意味します。

現在、SDXL Turbo は非営利研究ライセンスに基づいて提供されており、その使用は個人的、非営利目的に限定されています。この動きはすでにStable Diffusionコミュニティである程度の批判を受けているが、Stability AIは商用アプリケーションにオープンであり、詳細については興味のある人に問い合わせるよう呼びかけている。

一方、Stability AIは内部経営上の問題に直面しており、最近ある投資家がCEOのエマド・モスタク氏に辞任を勧告した。伝えられるところによると、Stability AI の経営陣は会社をより大きな企業に売却する可能性を模索しているとのことですが、これは Stability AI が新製品をリリースするペースに影響を与えていません。つい先週、同社は静止画像を短いビデオクリップに変換する Stable Video Diffusion というソフトウェアを発売しました

Stability AI は、画像編集プラットフォーム Clipdrop で SDXL Turbo 機能のベータ デモを提供しました。 Hugging Face では非公式のライブデモを無料で試すこともできます。明らかに、トレーニング データの出所の欠如や悪用の可能性など、通常の注意事項がすべて適用されます。こうした未解決の疑問があるにもかかわらず、AI 画像合成における技術進歩は確かに減速していません。

お友達が気に入ったら、「Zhixin」に注目してください!

以上がStable Diffusion XL Turbo は「リアルタイム」速度で AI 画像を生成できますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。