ホームページ テクノロジー周辺機器 AI DiTベースで4K画像生成をサポートするHuawei Noah 0.6B VincentグラフモデルPixArt-Σが登場

DiTベースで4K画像生成をサポートするHuawei Noah 0.6B VincentグラフモデルPixArt-Σが登場

Mar 11, 2024 pm 01:07 PM
業界

このモデルは Sora と同様に DiT フレームワークを使用します。

誰もが知っているように、トップレベルの T2I モデルの開発には多くのリソースが必要となるため、個人の研究者がこれを行うことは基本的に不可能です。リソースが限られているため、手頃な価格であることも AIGC (人工知能コンテンツ生成) コミュニティのイノベーションにとって大きな障害となっています。同時に、時間が経つにつれて、AIGC コミュニティは継続的に更新される高品質のデータセットとより高度なアルゴリズムを取得できるようになります。

したがって、重要な質問は、これらの新しい要素を既存のモデルに効率的に統合し、限られたリソースでモデルをより強力にするにはどうすればよいかということです。

この問題を調査するために、ファーウェイのノアの方舟研究所などの研究機関の研究チームは、新しいトレーニング方法を提案しました。それは、弱から強へのトレーニング(弱から強へのトレーニング)です。 -強力なトレーニング)。

DiTベースで4K画像生成をサポートするHuawei Noah 0.6B VincentグラフモデルPixArt-Σが登場

論文タイトル: PixArt-Σ: 4K テキストから画像への生成のための拡散トランスフォーマーの弱から強へのトレーニング
論文アドレス: https: //arxiv.org/pdf/2403.04692.pdf
プロジェクト ページ: https://pixart-alpha.github.io/PixArt-sigma-project/

彼らの研究は、昨年10月に提案された効率的なビンセントグラフ学習法であるPixArt-αに基づいています。レポートは当サイトの「超低学習コストのビンセントグラフモデルPixArtはこちら」を参照してください。効果はMJと同等で、必要なトレーニング時間はSD 10%のみです。 PixArt-α は、DiT (Diffusion Transformer) フレームワークの初期の試みです。現在、Sora が熱心に検索され、安定拡散が無限のアプリケーションで登場しているため、DiT アーキテクチャの有効性は、PixArt、Dit-3D、GenTron などの研究コミュニティでのますます多くの研究によって検証されています [1]。 。

チームは、PixArt-α の事前トレーニングされた基本モデルを使用し、高度な要素を統合して継続的な改善を促進し、最終的にはより強力なモデル PixArt-Σ が完成しました。図 1 は、生成された結果の例をいくつか示しています。

DiTベースで4K画像生成をサポートするHuawei Noah 0.6B VincentグラフモデルPixArt-Σが登場

PixArt-Σの作り方は?

# 具体的には、弱から強へのトレーニングを実現し、PixArt-Σを作成するために、チームは次のような改善策を採用しました。

#高品質のトレーニング データ

チームは高品質のデータセットを収集しました内部-Σ は、主に次の 2 つの側面に焦点を当てています:

#(1) 高品質画像: このデータセットには、インターネットからの 3,300 万枚の高解像度画像が含まれており、すべて 1K 以上で​​す。約 4K 解像度の 230 万枚の画像を含む。これらのイメージの主な特徴は、その高い美的センスと幅広い芸術的スタイルをカバーしていることです。

(2) 緻密で正確な説明: 上の画像をより正確かつ詳細に説明するために、チームは PixArt-α で使用されていた LLaVA をより強力な画像記述子 Share-Captioner。

それだけでなく、テキストの概念と視覚的な概念を調整するモデルの機能を向上させるために、チームはテキスト エンコーダー (つまり Flan-T5) のトークン長を拡張しました。約300ワードまで。彼らは、これらの改善によりモデルの幻覚傾向が効果的に排除され、より高品質のテキストと画像の位置合わせが可能になることが観察されました。
#以下の表 1 は、さまざまなデータセットの統計を示しています。

#効率的なトークン圧縮DiTベースで4K画像生成をサポートするHuawei Noah 0.6B VincentグラフモデルPixArt-Σが登場

PixArt-α を強化するために、チームは世代解像度を向上させます。 1Kから4Kに増えました。超高解像度 (2K/4K など) の画像を生成するには、トークンの数が大幅に増加し、コンピューティング要件の大幅な増加につながります。

この問題を解決するために、キーと値のトークン圧縮を使用する、DiT フレームワーク用に特別に調整されたセルフアテンション モジュールを導入しました。具体的には、以下の図 7 に示すように、ストライド 2 のグループ化された畳み込みを使用して、キーと値のローカル集約を実行しました。

さらに、チームは、KV (キー値) 圧縮を使用せずに、事前トレーニングされたモデルからのスムーズな適応を実現するために、特別に設計された重み初期化スキームを採用しました。この設計により、高解像度画像生成のためのトレーニングと推論の時間が約 34% 効果的に短縮されます。

#弱いトレーニング戦略から強いトレーニング戦略まで

チームはさまざまな微調整を提案しました弱いモデルを強力なモデルに迅速かつ効率的に調整できるテクノロジー。
(1) 置換では、より強力な変分オートエンコーダ (VAE) が使用されます。PixArt-α の VAE は SDXL の VAE に置き換えられます。

(2) 低解像度から高解像度への拡張では、性能劣化の問題に対処するために、Position Embedding (PE) 補間方式を採用しています。

(3) KV 圧縮を使用しないモデルから KV 圧縮を使用するモデルに進化します。

#実験結果により、弱から強へのトレーニング方法の実現可能性と有効性が検証されました。

上記の改善により、PixArt-Σ は可能な限り低いトレーニング コストと可能な限り少ないモデル パラメーターで高品質の 4K 解像度の画像を生成できます。

具体的には、すでに事前トレーニングされたモデルから微調整を開始することで、チームは PixArt-α に必要な GPU 時間をさらに 9% しか使用しませんでした。 1Kの高解像度画像を生成できるモデル。新しいトレーニング データとより強力な VAE も使用しているため、このパフォーマンスは注目に値します。

また、PixArt-Σのパラメータ量はわずか0.6Bであるのに対し、SDXLとSD Cascadeのパラメータ量はそれぞれ2.6Bと5.1Bです。

PixArt-Σで生成される画像の美しさは、DALL・E 3やMJV6などの現在の一流PixArt製品に匹敵します。さらに、PixArt-Σ は、テキスト プロンプトとのきめ細かな位置合わせのための優れた機能も示します。
図 2 は、PixArt-Σ が 4K 高解像度画像を生成した結果を示しており、生成された結果は、複雑で情報量の多いテキスト命令によく従っていることがわかります。

DiTベースで4K画像生成をサポートするHuawei Noah 0.6B VincentグラフモデルPixArt-Σが登場

#実験

##実装の詳細
#トレーニングの詳細: 条件付き特徴抽出を実行するテキスト エンコーダーについては、チームは Imagen と PixArt-α の実践に従って T5 エンコーダー (つまり、Flan-T5-XXL) を使用しました。基本的な普及モデルはPixArt-αです。ほとんどの研究で固定の 77 個のテキスト トークンを抽出する方法とは異なり、Internal-Σ で編成された記述情報はより高密度であり、非常にきめの細かい詳細を提供できるため、テキスト トークンの長さは PixArt-α の 120 から 300 に増加します。 . .さらに、VAE は、SDXL の VAE の事前トレーニングされた凍結バージョンを使用します。その他の実装内容はPixArt-αと同様です。

モデルは、PixArt-α の 256 ピクセルの事前トレーニング チェックポイントに基づいて微調整されており、位置埋め込み補間テクノロジを使用しています。

最終モデル (解像度 1K を含む) は 32 個の V100 GPU でトレーニングされました。また、追加の 16 個の A100 GPU を使用して、2K および 4K 画像生成モデルをトレーニングしました。

評価指標: 美観と意味論的機能をより適切に実証するために、チームは 30,000 個の高品質のテキストと画像のペアを収集し、最も強力なテキストと画像のペア モデルを比較しました。ベンチマークされています。 FID メトリクスが生成品質を適切に反映していない可能性があるため、ここでは PixArt-Σ は主に人間と AI の好みによって評価されます。

パフォーマンスの比較
画質評価: チームは、PixArt- Σ と PixArt- Σ を定性的に比較しました。クローズドソースの T2I 製品とオープンソースのモデル生成の品質。図 3 に示すように、オープンソース モデル SDXL やチームの以前の PixArt-α と比較して、PixArt-Σ によって生成されたポートレートはより現実的であり、より優れた意味分析機能を備えています。 PixArt-Σ は SDXL よりもユーザーの指示に従います。

#PixArt-Σ は、図 4 に示すように、オープン ソース モデルを上回るパフォーマンスを発揮するだけでなく、現在のクローズド ソース製品との競争力もあります。

DiTベースで4K画像生成をサポートするHuawei Noah 0.6B VincentグラフモデルPixArt-Σが登場

高解像度画像の生成: 新しい方法では、後処理なしで 4K 解像度の画像を直接生成できます。また、PixArt-Σは、ユーザーから提供される複雑で詳細な長文テキストにも正確に対応します。したがって、ユーザーは満足のいく結果を得るためにわざわざプロンプトを設計する必要はありません。

人間/AI (GPT-4V) の好みの調査: チームは、生成された結果に対する人間と AI の好みも調査しました。彼らは、PixArt-α、PixArt-Σ、SD1.5、Stable Turbo、Stable XL、Stable Cascade、Playground-V2.0 を含む 6 つのオープンソース モデルの生成結果を収集しました。彼らは、プロンプトと対応する画像を表示することで人間の好みのフィードバックを収集する Web サイトを開発しました。

#人間の評価者は、生成品質とプロンプトとの一致度に基づいて画像をランク付けできます。結果は図 9 の青い棒グラフに示されています。

人間の評価者は、他の 6 つのジェネレーターよりも PixArt-Σ を好むことがわかります。 SDXL (2.6B パラメーター) や SD Cascade (5.1B パラメーター) などの以前の Vincentian グラフ拡散モデルと比較して、PixArt-Σ は、はるかに少ないパラメーター (0.6B) で高品質でユーザー プロンプトとより一貫性のある画像を生成できます。

DiTベースで4K画像生成をサポートするHuawei Noah 0.6B VincentグラフモデルPixArt-Σが登場

さらに、チームは高度なマルチモーダル モデルである GPT-4 Vision を使用して、AI の好みの調査を実行しました。彼らが行うことは、GPT-4 Vision に 2 つの画像を供給し、画像の品質と画像とテキストの配置に基づいて投票させることです。結果は図 9 のオレンジ色と緑色のバーに示されており、状況は人間の評価と基本的に一致していることがわかります。

チームは、さまざまな改善策の有効性を検証するためにアブレーション研究も実施しました。詳細については、原著論文をご覧ください。

# 参考記事:1. https://www.shoufachen.com/Awesome-Diffusion-Transformers/

以上がDiTベースで4K画像生成をサポートするHuawei Noah 0.6B VincentグラフモデルPixArt-Σが登場の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました Aug 09, 2024 pm 04:01 PM

でももしかしたら公園の老人には勝てないかもしれない?パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した 初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した Aug 21, 2024 pm 07:33 PM

8月21日、2024年世界ロボット会議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition(以下、「Yuanluobot SenseRobot」という)をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう Sep 02, 2024 pm 01:56 PM

もうすぐ学校が始まり、新学期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロードが怠け者になったと不満を漏らすネチズンでいっぱいだった。 「レベルが大幅に低下し、頻繁に停止し、出力も非常に短くなりました。リリースの最初の週は、4 ページの文書全体を一度に翻訳できましたが、今では 0.5 ページの出力さえできません」 !」 https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ というタイトルの投稿で、「クロードには完全に失望しました」という内容でいっぱいだった。

世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました 世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました Aug 22, 2024 pm 10:35 PM

北京で開催中の世界ロボット会議では、人型ロボットの展示が絶対的な注目となっているスターダストインテリジェントのブースでは、AIロボットアシスタントS1がダルシマー、武道、書道の3大パフォーマンスを披露した。文武両道を備えた 1 つの展示エリアには、多くの専門的な聴衆とメディアが集まりました。弾性ストリングのエレガントな演奏により、S1 は、スピード、強さ、正確さを備えた繊細な操作と絶対的なコントロールを発揮します。 CCTVニュースは、「書道」の背後にある模倣学習とインテリジェント制御に関する特別レポートを実施し、同社の創設者ライ・ジエ氏は、滑らかな動きの背後にあるハードウェア側が最高の力制御と最も人間らしい身体指標(速度、負荷)を追求していると説明した。など)、AI側では人の実際の動きのデータが収集され、強い状況に遭遇したときにロボットがより強くなり、急速に進化することを学習することができます。そしてアジャイル

ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

貢献者はこの ACL カンファレンスから多くのことを学びました。 6日間のACL2024がタイのバンコクで開催されています。 ACL は、計算言語学と自然言語処理の分野におけるトップの国際会議で、国際計算言語学協会が主催し、毎年開催されます。 ACL は NLP 分野における学術的影響力において常に第一位にランクされており、CCF-A 推奨会議でもあります。今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優秀論文およびその他の賞を発表しました。今回の優秀論文賞は7件(未発表2件)、最優秀テーマ論文賞1件、優秀論文賞35件です。このカンファレンスでは、3 つの Resource Paper Award (ResourceAward) と Social Impact Award (

宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました 宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました Aug 08, 2024 am 07:02 AM

今日の午後、Hongmeng Zhixingは新しいブランドと新車を正式に歓迎しました。 8月6日、ファーウェイはHongmeng Smart Xingxing S9およびファーウェイのフルシナリオ新製品発表カンファレンスを開催し、パノラマスマートフラッグシップセダンXiangjie S9、新しいM7ProおよびHuawei novaFlip、MatePad Pro 12.2インチ、新しいMatePad Air、Huawei Bisheng Withを発表しました。レーザー プリンタ X1 シリーズ、FreeBuds6i、WATCHFIT3、スマート スクリーン S5Pro など、スマート トラベル、スマート オフィスからスマート ウェアに至るまで、多くの新しいオールシナリオ スマート製品を開発し、ファーウェイは消費者にスマートな体験を提供するフル シナリオのスマート エコシステムを構築し続けています。すべてのインターネット。宏孟志興氏:スマートカー業界のアップグレードを促進するための徹底的な権限付与 ファーウェイは中国の自動車業界パートナーと提携して、

Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Sep 03, 2024 pm 05:18 PM

ビジョンとロボット学習の緊密な統合。最近話題の1X人型ロボットNEOと合わせて、2つのロボットハンドがスムーズに連携して服をたたむ、お茶を入れる、靴を詰めるといった動作をしていると、いよいよロボットの時代が到来するのではないかと感じられるかもしれません。実際、これらの滑らかな動きは、高度なロボット技術 + 精緻なフレーム設計 + マルチモーダル大型モデルの成果です。有用なロボットは多くの場合、環境との複雑かつ絶妙な相互作用を必要とし、環境は空間領域および時間領域の制約として表現できることがわかっています。たとえば、ロボットにお茶を注いでもらいたい場合、ロボットはまずティーポットのハンドルを掴んで、お茶をこぼさないように垂直に保ち、次にポットの口がカップの口と揃うまでスムーズに動かす必要があります。 、そしてティーポットを一定の角度に傾けます。これ

7つの「ソラレベル」ビデオ生成アーティファクトをテストしました。誰が「鉄の玉座」に昇る能力を持っていますか? 7つの「ソラレベル」ビデオ生成アーティファクトをテストしました。誰が「鉄の玉座」に昇る能力を持っていますか? Aug 05, 2024 pm 07:19 PM

Machine Power Report 編集者: Yang Wen AI ビデオ サークルの王になれるのは誰ですか?アメリカのテレビシリーズ「ゲーム・オブ・スローンズ」に「鉄の玉座」というものがあります。伝説によれば、それは最高の権威を象徴する敵が捨てた数千の剣を溶かした巨大なドラゴン「黒死病」によって作られたとされています。この鉄の椅子に座るために、主要な家族は争いと争いを始めました。 Sora の登場以来、AI ビデオ界では活発な「ゲーム オブ スローンズ」が立ち上がっています。このゲームの主なプレーヤーには、国内の Kuaishou Keling、ByteDream だけでなく、海の向こうの RunwayGen-3 や Luma も含まれます。およびZhimo。今日は、誰が AI ビデオサークルの「鉄の玉座」に座る資格があるかを評価して確認します。 -1- ヴィンセントビデオ

See all articles