中山大学の HCP 研究室における新たなブレークスルー: 因果関係パラダイムを使用したマルチモーダル大規模モデルのアップグレード
中山大学のヒューマン コンピュータ インテリジェンス融合研究室 (HCP) は、AIGC とマルチモーダル大規模モデルで実りある成果を上げており、最近の AAAI 2023 と CVPR 2023 で 10 以上の論文に選ばれました。 、世界的な研究機関の中でのランキングの第一階層。
作業の 1 つは、調整におけるマルチモーダル大規模モデルの制御性と一般化を大幅に向上させる因果モデルの使用を実現しています - 「マスクされた画像は、ロバストな微調整のための反事実のサンプルです」 」。
リンク: https://arxiv.org/abs/2303.03052
#事前トレーニングされた大規模モデルを使用して下流タスクを微調整することは、現在一般的な深層学習パラダイムです。特に、大規模な事前トレーニング済み言語モデルである ChatGPT の最近の優れたパフォーマンスにより、この技術パラダイムが広く認識されるようになりました。大量のデータを使用して事前トレーニングした後、これらの大規模な事前トレーニングされたモデルは、実際の環境で変化するデータ分布に適応できるため、一般的なシナリオで強力な堅牢性を示します。ただし、事前トレーニングされた大規模モデルが、特定のアプリケーション タスクに適応するために下流のシナリオ データを使用して微調整される場合、ほとんどの場合、これらのデータは単一です。これらのデータを使用して事前トレーニングされた大規模モデルを微調整すると、モデルの堅牢性が低下することが多く、事前トレーニングされた大規模モデルに基づいて適用することが困難になります。特に視覚モデルに関しては、画像の多様性が言語をはるかに超えているため、下流の微調整トレーニングが視覚関連の事前トレーニング済み大規模モデルのロバスト性の低下につながる問題が特に顕著です。
これまでの研究手法では、通常、モデル統合やその他の手法を通じて、微調整された事前トレーニング済みモデルの堅牢性がモデル パラメーター レベルで暗黙的に維持されていました。しかし、これらの研究では、微調整がモデルの分散外パフォーマンス低下につながる本質的な理由は分析されておらず、大規模モデルの微調整後のロバスト性の低下という前述の問題も明確に解決されていませんでした。
この研究は、クロスモーダル大規模モデルに基づいており、事前トレーニングされた大規模モデルのロバスト性損失の本質的な理由を因果関係の観点から分析し、それに応じて、モデルの堅牢性を大幅に向上させる微調整トレーニング方法。この方法により、モデルは下流のタスクに適応しながら強力な堅牢性を維持できるようになり、実際のアプリケーションのニーズをより適切に満たすことができます。
OpenAI が 2021 年にリリースしたクロスモーダル事前トレーニング大規模モデル CLIP (Contrastive Language-Image Pre-training) を例に挙げます。CLIP はコントラストベースの画像テキストです。 Union 学習済みクロスモーダル事前トレーニング済み大規模モデルは、安定拡散などの生成モデルの基礎となります。このモデルは、約 4 億の画像とテキストのペアを含む大規模なマルチソース データでトレーニングされ、分布の変化に対してある程度頑健ないくつかの因果関係を学習します。
ただし、単一特徴のダウンストリーム データを使用して CLIP を微調整する場合、モデルによって学習された因果関係の知識が簡単に破壊されます。調教画像は高度に絡み合っています。たとえば、CLIP モデル転送を「農場」の下流シナリオに適用すると、トレーニング画像の多くには草の中の「牛」が表示されます。この時点で、微調整トレーニングにより、モデルが画像の意味を予測するために草の非「牛」意味表現に依存することを学習できる可能性があります。ただし、この相関関係は必ずしも正しいとは限りません。たとえば、道路上に「牛」が出現する場合もあります。したがって、モデルを微調整してトレーニングした後は、その堅牢性が低下し、適用中の出力結果が非常に不安定になり、制御性が欠如する可能性があります。
チームの大規模モデルの構築とトレーニングにおける長年の経験に基づいて、この研究では、事前トレーニングされたモデルの微調整によって引き起こされる堅牢性の低下の問題を、次の観点から再検討します。因果関係。この研究では、因果モデリングと分析に基づいて、画像マスクに基づいて反事実サンプルを構築し、マスク画像学習を通じてモデルの堅牢性を向上させる微調整トレーニング方法を提案します。
具体的には、下流のトレーニング画像の偽の相関を打ち破るために、この研究では、画像の特定の領域の内容をマスクして置き換えるクラス アクティベーション マップ (CAM) ベースの方法を提案しています。画像の非意味表現または意味表現を操作して反事実サンプルを生成する。微調整されたモデルは、蒸留を通じて事前トレーニングされたモデルによるこれらの反事実サンプルの表現を模倣することを学習でき、それによって意味論的要因と非意味論的要因の影響をより適切に分離し、下流分野での分布の変化への適応性を向上させます。
実験では、この方法により、下流のタスクで事前トレーニングされたモデルのパフォーマンスが大幅に向上し、同時に、他のタスクと比べて堅牢性が向上することが示されています。大規模モデルに対する既存の微調整トレーニング方法には、大きな利点があります。
この研究の重要な意義は、深層学習パラダイムから事前学習済みの大規模モデルが引き継いだ「ブラックボックス」をある程度オープンにし、「」を解決することです。大規模モデルの「解釈可能性」と「制御可能性」の問題を解決し、事前トレーニングされた大規模モデルによる目に見える生産性向上に近づけます。
中山大学の HCP チームは、Transformer メカニズムの出現以来、長年にわたって大規模モデル技術パラダイムの研究に従事しており、トレーニング効率の向上に取り組んでいます。大規模モデルの「制御可能な問題」を解決するための因果モデルの導入、「性」の問題。チームは長年にわたり、視覚、言語、音声、クロスモダリティのための複数の大規模な事前トレーニング モデルを独自に研究、開発してきました。「Wukong」クロスモーダル大規模モデルは、ファーウェイのノアの方舟研究所と共同開発しました (リンク: https:/ /arxiv .org/abs/2202.06767) が典型的なケースです。
チーム紹介
孫文大学ヒューマン・コンピュータ・オブジェクト知能融合研究室(HCP Lab)は、マルチモーダル認識に従事 インテリジェント コンピューティング、ロボット工学と組み込みシステム、メタバースとデジタル ヒューマン、制御可能なコンテンツ生成の分野で体系的な研究を実施し、詳細なアプリケーション シナリオを実施して製品のプロトタイプを作成し、多数のオリジナルの製品を出力します。テクノロジーを開発し、起業家チームを育成します。この研究室は、IAPRフェローの林梁教授によって2010年に設立され、中国画像グラフィック協会科学技術賞一等賞、呉文軍自然科学賞、省自然科学一等賞を受賞している。梁暁丹や王克澤など国家レベルの若手人材を育成してきた。
以上が中山大学の HCP 研究室における新たなブレークスルー: 因果関係パラダイムを使用したマルチモーダル大規模モデルのアップグレードの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック









0.この記事は何をするのですか?私たちは、多用途かつ高速な最先端の生成単眼深度推定モデルである DepthFM を提案します。従来の深度推定タスクに加えて、DepthFM は深度修復などの下流タスクでも最先端の機能を実証します。 DepthFM は効率的で、いくつかの推論ステップ内で深度マップを合成できます。この作品について一緒に読みましょう〜 1. 論文情報タイトル: DepthFM: FastMonocularDepthEstimationwithFlowMatching 著者: MingGui、JohannesS.Fischer、UlrichPrestel、PingchuanMa、Dmytr

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

世界は狂ったように大きなモデルを構築していますが、インターネット上のデータだけではまったく不十分です。このトレーニング モデルは「ハンガー ゲーム」のようであり、世界中の AI 研究者は、データを貪欲に食べる人たちにどのように餌を与えるかを心配しています。この問題は、マルチモーダル タスクで特に顕著です。何もできなかった当時、中国人民大学学部のスタートアップチームは、独自の新しいモデルを使用して、中国で初めて「モデル生成データフィード自体」を実現しました。さらに、これは理解側と生成側の 2 つの側面からのアプローチであり、両方の側で高品質のマルチモーダルな新しいデータを生成し、モデル自体にデータのフィードバックを提供できます。モデルとは何ですか? Awaker 1.0 は、中関村フォーラムに登場したばかりの大型マルチモーダル モデルです。チームは誰ですか?ソフォンエンジン。人民大学ヒルハウス人工知能大学院の博士課程学生、ガオ・イージャオ氏によって設立されました。

何?ズートピアは国産AIによって実現するのか?ビデオとともに公開されたのは、「Keling」と呼ばれる新しい大規模な国産ビデオ生成モデルです。 Sora も同様の技術的ルートを使用し、自社開発の技術革新を多数組み合わせて、大きく合理的な動きをするだけでなく、物理世界の特性をシミュレートし、強力な概念的結合能力と想像力を備えたビデオを制作します。データによると、Keling は、最大 1080p の解像度で 30fps で最大 2 分の超長時間ビデオの生成をサポートし、複数のアスペクト比をサポートします。もう 1 つの重要な点は、Keling は研究所が公開したデモやビデオ結果のデモンストレーションではなく、ショートビデオ分野のリーダーである Kuaishou が立ち上げた製品レベルのアプリケーションであるということです。さらに、主な焦点は実用的であり、白紙小切手を書かず、リリースされたらすぐにオンラインに移行することです。Ke Ling の大型モデルは Kuaiying でリリースされました。

最近、軍事界は、米軍戦闘機が AI を使用して完全自動空戦を完了できるようになったというニュースに圧倒されました。そう、つい最近、米軍のAI戦闘機が初めて公開され、その謎が明らかになりました。この戦闘機の正式名称は可変安定性飛行シミュレーター試験機(VISTA)で、アメリカ空軍長官が自ら飛行させ、一対一の空戦をシミュレートした。 5 月 2 日、フランク ケンダル米国空軍長官は X-62AVISTA でエドワーズ空軍基地を離陸しました。1 時間の飛行中、すべての飛行動作が AI によって自律的に完了されたことに注目してください。ケンダル氏は「過去数十年にわたり、私たちは自律型空対空戦闘の無限の可能性について考えてきたが、それは常に手の届かないものだと思われてきた」と語った。しかし今では、
