効率はDALL・E 2とImagenを粉砕、Googleの新モデルは新たなSOTAを実現、PSも一言で扱える

新年の初めに、Google AI はテキスト画像生成モデルに再び取り組み始めました。

今回、同社の新モデル Muse は、CC3M データセットで新しい SOTA (現時点で最高のレベル) に到達しました。

そして、その効率は、世界的に人気のある DALL・E 2 と Imagen (どちらも拡散モデル)、さらには Parti (自己回帰モデル) の効率をはるかに上回っています。

——1 つの 512x512 解像度の画像の生成時間は、わずか 1.3 秒に圧縮されます。

#画像編集に関しては、テキストコマンドだけで元の画像を編集できます。

(PS の学習について心配する必要はもうないようです~)

エフェクトをより正確にしたい場合は、位置をマスクして特定の領域を編集します。たとえば、背景の建物を熱気球に置き換えます。

Muse は正式発表されるとすぐに大きな注目を集め、元の投稿にはすでに 4,000 件の「いいね！」が付いています。

Google のもう 1 つの傑作を見て、次のように予測し始めた人もいます:

AI 開発者間の競争は現在、非常に熾烈になっています。その2023年は本当にエキサイティングな年になるでしょう。

DALL・E 2 や Imagen よりも効率的です

Google がリリースしたばかりの Muse について話しましょう。

まず、生成される画像の品質に関して、Muse の作品のほとんどは、鮮明な画像と自然な効果を備えています。

雰囲気をつかむためにさらに例を見てみましょう~

たとえば、毛糸の帽子をかぶったナマケモノの赤ちゃんがコンピューターを操作しています。別の例は、ワイングラスに入った羊です。 :

普段は手の届かない様々な被写体が、一枚の写真の中に違和感なく共存しています。

これが AIGC の基本操作としか思えない場合は、Muse の編集機能を検討してみるとよいでしょう。

たとえば、ワンクリックで服装を変更できます (性別も変更できます):

これはマスキングを必要とせず、一文で実行できます。 。

そして、マスクを使用すると、ワンクリックで背景を元の場所からニューヨーク、パリ、そしてサンフランシスコに切り替えるなど、さらに 6 つの操作を実現できます。

海辺からロンドンや花の海に行ったり、宇宙の土星の輪に飛んでエキサイティングなスケートボードをプレイすることもできますイルカのジャンプ。

# (いいやつ、雲の中を簡単に移動できるだけでなく、ワンクリックで空へ飛ぶこともできます...)

効果は本当に抜群 です。それでは、Muse の背後にはどのような技術サポートがあるのでしょうか? DALL・E 2 や Imagen よりも効率が高いのはなぜですか?

重要な理由は、DALL・E 2 と Imagen はトレーニング プロセス中に学習したすべての知識をモデル パラメーターに保存する必要があることです。

その結果、より多くの知識を得るために、ますます大規模なモデルとより多くのトレーニング データが必要になり、より良いものとより大きなものを結びつけなければなりません。

コストはパラメータの数が膨大になり、効率にも影響します。

Google AI チームによると、彼らが使用する主な手法は「マスクされた画像モデリング」と呼ばれるものです。

これは、新たな自己教師あり事前トレーニング手法であり、その基本的な考え方は次のとおりです:

入力画像の一部がランダムにマスクされ、事前トレーニングされたテキスト タスクを使用して再構成されます。

Muse モデルは、離散ラベルの空間マスクでトレーニングされ、事前トレーニングされた言語の大規模モデルから抽出されたテキストと組み合わせて、ランダムにマスクされた画像ラベルを予測します。

上から下: 事前トレーニングされたテキスト エンコーダー、基本モデル、超解像度モデル

Google チームは、事前トレーニングされたテキスト エンコーダーを使用すると、大規模な言語モデルを使用すると、AI による言語の理解をより詳細かつ徹底的に行うことができます。

出力に関しては、AI が物体の位置関係や姿勢などの要素を適切に把握しているため、生成される画像は忠実度の高いものになります。

DALL・E 2 や Imagen などのピクセル空間拡散モデルと比較して、Muse は離散トークンを使用し、サンプリングの反復回数が少なくなります。

さらに、Parti などの自己回帰モデルと比較して、Muse はより効率的な並列デコードを使用します。

FID の SOTA スコア

前述したように、Muse は効率が向上しただけでなく、画質の生成にも非常に優れています。

研究者らは、DALL・E、LAFITE、LDM、GLIDE、DALL・E 2、さらに Google 独自の Imagen および Parti と比較し、FID および CLIP スコアをテストしました。

(FID スコアは、生成された画像の品質を評価するために使用されます。スコアが低いほど品質が高くなります。CLIP スコアは、テキストと画像の適合度を表します。スコアが高いほど、 )

結果表示では、COCO 検証セットにおける Muse-3B モデルのゼロショット FID-30K スコアは 7.88 であり、パラメータが大きい Imagen-3.4B および Parti-20B モデルに次いで 2 番目です。

さらに良いことに、Muse-900M モデルは、CC3M データセットで FID スコア 6.06 の新しい SOTA を達成しました。これは、テキストと一致することも意味します。最高。

同時に、このモデルのCLIPスコアは0.26で、これも同期間で最高レベルに達しました。

さらに、Muse の画像生成効率をさらに確認するために、研究者らは Muse と他のモデルの単一画像生成時間も比較しました。

Muse解像度 256x256 および 512x512 では、0.5 秒と 1.3 秒の最速速度に達しました。

研究チーム

Muse の研究チームは Google 出身で、共著者は Huiwen Chang と Han Zhang の 2 人です。

Huiwen Chang は現在、Google の上級研究員です。

彼女は清華大学で学部生として学び、プリンストン大学で博士号を取得し、Adobe、Facebook などでインターンシップの経験があります。

Han Zhang は、中国農業大学で学士号を取得し、北京郵政大学で修士号を取得し、ラトガース大学でコンピュータ サイエンスの博士号を取得しました。

研究の方向性は、コンピューター ビジョン、ディープ ラーニング、医療画像分析です。

ただし、Muse はまだ正式にリリースされていないことに注意してください。

一部のネチズンは、非常に香りがよいはずだが、Google の「尿の性質」を考慮すると、Muse の正式リリースはまだ先になるのではないかと冗談を言っています。 AIは18年間リリースされていません。

そういえば、ミューズの効果ってどう思いますか？

正式リリースを楽しみにしていますか?

ポータル: https://www.php.cn/link/854f1fb6f65734d9e49f708d6cd84ad6

参考リンク: https://twitter.com/AlphaSignalAI/status/ 1610404589966180360

以上が効率はDALL・E 2とImagenを粉砕、Googleの新モデルは新たなSOTAを実現、PSも一言で扱えるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。