目次
ViT-22B は、Transformer アーキテクチャに基づいたモデルで、元の ViT アーキテクチャと比較して、研究者はトレーニング効率を向上させるために主に 3 つの変更を加えました。そしてトレーニングの安定性。
配布外のパフォーマンス
線形プローブ
ホームページ テクノロジー周辺機器 AI CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

Apr 07, 2023 pm 03:09 PM
モデル

Transformer は間違いなく自然言語処理分野の繁栄に最大の貢献者であり、GPT-4 などの大規模言語モデルのインフラストラクチャでもあります。

しかし、言語モデルの数百億のパラメータと比較すると、コンピュータ ビジョンの分野では Transformer の恩恵があまり受けられていません。現在、最大のビジュアル Transformer モデル ViT- e パラメータの数はわずか 40 億個です。

最近、Google は、研究者が大規模なビジョン トランスフォーマー (ViT) モデルを効率的かつ安定してトレーニングできる方法を提案し、ViT のパラメーター数を 22 に増やすことに成功した論文を発表しました。十億。


CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

論文リンク: https://arxiv.org/abs/2302.05442

モデル拡張を実現するために、ViT-22B は他の言語モデル (PaLM モデルなど) のアイデアを組み合わせ、QK 正規化を使用してトレーニングの安定性を向上させ、非同期を提案します。並列線形演算 (非同期並列線形演算) の新しいメソッドはトレーニング効率を向上させ、より高いハードウェア効率で Cloud TPU でトレーニングできます。

ViT-22B モデルで下流タスクのパフォーマンスを評価する実験を行ったところ、ViT-22B は大規模言語モデルと同様の機能も示しました。つまり、モデルの規模が大きくなるにつれて、パフォーマンスも常に向上しています。

ViT-22B は PaLM-e でも使用でき、大規模なモデルと言語モデルを組み合わせることで、ロボット タスクの技術レベルを大幅に向上させることができます。

研究者らはさらに、形状/質感の性別による人間の視覚認識と一致する、公平性とパフォーマンスのバランスの向上など、スケールによってもたらされる他の利点も観察しました## #、そしてより優れた堅牢性。 モデル アーキテクチャ

ViT-22B は、Transformer アーキテクチャに基づいたモデルで、元の ViT アーキテクチャと比較して、研究者はトレーニング効率を向上させるために主に 3 つの変更を加えました。そしてトレーニングの安定性。

並列レイヤー

##ViT-22B は、オリジナルの Transformer が実行されている間に、アテンション ブロックと MLP ブロックを並列に実行します。順次。

PaLM モデルのトレーニングでもこの方法が使用されており、パフォーマンスを低下させることなく大規模なモデルのトレーニング速度を 15% 向上させることができます。 CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

クエリ/キー (QK) 正規化

ViT を拡張する過程で、研究者は 80 億のパラメータを使用しました。多数のモデルで、トレーニングの数千ステップ後にトレーニング損失が発散し始めることが観察されています。これは主に注意ロジットの値が大きすぎることによって引き起こされる不安定性が原因で、その結果、注意重みがゼロのエントロピーになります(ほぼワンホット)。

この問題を解決するために、研究者たちはドット乗算アテンション計算の前にクエリとキーに LayerNorm を使用しました

80 億パラメータ モデルの実験結果を下図に示しますが、正規化により発散問題を軽減できます。 CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い


#QKV 投影と LayerNorms のオフセット項を削除CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

#PaLM モデルと同様に、ViT-22B は QKV 投影からバイアス項を削除し、すべての LayerNorm にバイアス項 (バイアス) とセンタリングが存在しないため、ハードウェア使用率が 3% 増加します。品質の低下はありません。

ただし、PaLM とは異なり、ViT-22B は (内部および外部) MLP 高密度接続層にバイアス項を使用します。改善されており、速度は低下していません。

ViT-22B のエンコーダ モジュールでは、抽出パッチ、線形投影、追加の位置埋め込みを含む埋め込み層は、元の ViT で使用されているものと同じであり、マルチヘッド アテンション プーリングを使用して集約されます。各ヘッドの情報、トークンごとの表現。

ViT-22B のパッチ サイズは 14×14、画像の解像度は 224×224 (インセプション クロップとランダムな水平反転によって前処理されています) です。

非同期並列線形操作

大規模モデルにはシャーディングも必要です)、つまりモデル パラメーターを複数のモデルに分散する必要がありますさらに、研究者はアクティベーション (アクティベーション、入力の中間表現) もスライスします。

CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

#入力と行列自体の両方がさまざまなデバイスに分散されるため、行列の乗算などの単純な演算であっても特別な注意が必要です。

研究者らは、行列乗算ユニット (TPU の計算能力の大部分を占めるユニット) で計算しながら同時に実行できる、非同期並列線形演算と呼ばれる手法を開発しました。 . デバイス間でアクティベーションと重みを通信します。

非同期メソッドは、受信通信の待ち時間を最小限に抑え、デバイスの効率を高めます。

非同期並列線形演算の目的は、行列の乗算 y = Ax を計算することですが、行列 A とアクティベーション x は異なるデバイスに分散されており、デバイス間で重複した通信と計算が必要です。これ。行列 A はデバイス間で列シャーディングされています。各行列には連続したスライスが含まれており、各ブロックは Aij として表されます。詳細については、元の論文を参照してください。

CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

実験結果

ViT-22B によって学習された表現が非常に豊富であることを示すために、研究者らは LiT-22B を使用しました。テキストと画像を位置合わせするための表現を生成するためにテキスト モデルをトレーニングするための調整。

以下は、Parti と Imagen によって生成された配布外画像を使用して得られた実験結果であり、ViT-22B のゼロショット画像分類汎化能力が非常に優れていることがわかります。強力で、Web からクロールされた自然画像からのみ、目に見えないオブジェクトやシーンを認識できます。

CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

この論文では、ビデオ分類、深度推定、セマンティック セグメンテーション タスクに対する ViT-22B の効果についても説明しています。

人間のターゲット認識との調整

ViT-22B の分類意思決定と人間の分類意思決定の一貫性を検証するために、研究者らは ViT を微調整しました。 -22B と分布を変更しました。OOD データセットのさまざまな解像度で微調整されており、モデル対人間ツールボックスを通じて人間による比較データが利用可能です。

このツールボックスは主に 3 つの重要な指標を測定します: モデルは歪み (精度) をどのように処理するか?人間とモデルの精度の違い(精度の違い)は何ですか?人間とモデルのエラー パターン (エラーの一貫性) はどの程度似ていますか?

CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

形状偏差評価(値が大きいほど形状偏差が大きいことを表します)。多くの視覚モデルには低い形状/高いテクスチャ バイアスがあり、ImageNet で微調整された ViT-22B は、これまでに記録された ML モデルの中で最も高い形状バイアスを持ち、人間の形状バイアスに近いです

# 実験結果は、すべての微調整ソリューションが良好なパフォーマンスを発揮するわけではありませんが、ViT-22B バリアントは 3 つの指標すべてで新たな最高値に達することを示しています。

また、ViT-22Bモデルはビジュアルモデルの中で最高の形状偏差記録を持っています。これは、分類の決定にオブジェクトのテクスチャではなく主にオブジェクトの形状を使用し、戦略の結果は人間の知覚に似ていることを意味します (その形状バイアスは 96%)。

標準モデル (例: ResNet-50 には 20 ~ 30% の形状バイアスがあります) は通常、テクスチャに基づいて分類しますが、高い形状バイアスを持つモデルは形状 (以下に特定) に焦点を当てる傾向があります。猫)、ViT-22B は人間の視覚物体の認識とより多くの類似点を示していますが、人間とモデルの認識の間にはまだ多くの違いがあります。

CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

猫ですか、それとも象ですか?車とか時計とか?鳥か自転車か?あるオブジェクトの形状と別の異なるオブジェクトのテクスチャを含む画像を使用して、形状/テクスチャの偏差を測定できます

配布外のパフォーマンス

OOD データセットのパフォーマンスを測定することは、モデルの一般化を評価するのに役立ちます。

この実験では、研究者らは、JFT から ImageNet へ、および ImageNet から ObjectNet などのさまざまな配布外データセットへのラベル マッピングを構築しました。

このデータで事前トレーニングした後の結果を以下に示します。その後、モデルは ImageNet で完全に微調整されます。

CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

Vision Transformers をスケーリングすると OOD パフォーマンスが向上することがわかります。ImageNet の精度が飽和に達した場合でも、 ObjectNet 上の ViT-e からの変換 ViT-22B モデルは、パフォーマンスを大幅に向上させることができます。

線形プローブ

線形プローブは、フリーズしたモデルの上に単一の線形レイヤーを配置する手法です。完全な微調整と比較して、この方法は安価です。トレーニングしやすく、セットアップも簡単です。

CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

#ImageNet、ImageNet-Real、ImageNet-v2、ObjectNet、ImageNet-R、および ImageNet でトレーニングされた線形検出結果 - 評価データセット A、高解像度で微調整された ViT-e/14 を参照として提供します

結果から、ViT-22B の線形検出性能は次のとおりであることがわかります。これは、高解像度画像上で小さなモデルの最先端の微調整を使用することに近いもので、高解像度でのトレーニングは一般にはるかにコストがかかりますが、多くのタスクでより良い結果を達成できます。

蒸留

蒸留手法を使用すると、より大きなモデルの知識をより小さなモデルの知識に変換できるため、より大きなモデルのコストとコストを向上させることができます。実行速度が遅いほど、モデルの動作効率が低下します。

CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い

実験結果から、ViT-22B の知識は ViT-B/16 や ViT-B/16 などのより小さなモデルにも応用できることがわかります。 ViT-L/16 と同じモデルサイズで ImageNet 上のパフォーマンス記録を更新しました。

公平性とバイアス

機械学習モデルは、誤った相関関係やサブグループ間のパフォーマンスギャップの発見など、意図しない不公平なバイアスの影響を受けやすいため、モデルをスケールアップすると研究者らは発見しました。これらの問題を軽減するのに役立つ可能性があります。

まず、モデルがトレーニングされ、人口統計上の同等性を所定の許容可能なレベルに制御するために後処理されたとしても、スケールは有望なトレードオフです。規模が大きくなるにつれて改善されます。 ################################################ #その上: バイアス除去前の CelebA の各サブグループの精度。以下: Y 軸は、この例で強調表示されている 2 つの特定のサブグループ (女性と男性) のパフォーマンスの絶対的な差を示しています。小型の ViT モデルと比較して、ViT-22B の性能差は非常に小さいです。


さらに重要なのは、これはパフォーマンスが精度の観点から測定される場合だけでなく、キャリブレーション、つまりモデルの推定値の真実性などの他の尺度にも当てはまります。統計的に測定すると、すべてのサブグループの分類はサイズが大きくなるにつれて改善される傾向があり、ViT-22B はサブグループ間のパフォーマンスのギャップを減らします。

CVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近い結論


研究者らは、現在最大のビジュアル Transformer モデルの 1 つである ViT-22B を提案しました。このモデルには 220 億のパラメータが含まれています。

元のモデル アーキテクチャに小さいながらも重要な変更を加えることで、ハードウェアの使用率とトレーニングの安定性が向上し、その結果、いくつかのベンチマークでパフォーマンスの上限が向上したモデルが得られました。

フリーズしたモデルを使用してエンベディングを生成するには、上部のいくつかのレイヤーをトレーニングするだけで非常に優れたパフォーマンスを達成できます。評価結果はさらに、既存のモデルと比較して ViT-22B が優れたパフォーマンスを示していることを示しています。形状とテクスチャのバイアスという点で人間の視覚認識と類似しており、公平性と堅牢性の点で利点があります。

以上がCVが大型モデルの時代を切り開く! Googleが史上最大のViTをリリース:220億パラメータ、視覚認識は人間のそれに近いの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Apr 01, 2024 pm 07:46 PM

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

時系列予測 NLP 大規模モデルの新機能: 時系列予測の暗黙的なプロンプトを自動的に生成 時系列予測 NLP 大規模モデルの新機能: 時系列予測の暗黙的なプロンプトを自動的に生成 Mar 18, 2024 am 09:20 AM

今日は、時系列予測のパフォーマンスを向上させるために、時系列データを潜在空間上の大規模な自然言語処理 (NLP) モデルと整合させる方法を提案するコネチカット大学の最近の研究成果を紹介したいと思います。この方法の鍵は、潜在的な空間ヒント (プロンプト) を使用して時系列予測の精度を高めることです。論文タイトル: S2IP-LLM: SemanticSpaceInformedPromptLearningwithLLMforTimeSeriesForecasting ダウンロードアドレス: https://arxiv.org/pdf/2403.05798v1.pdf 1. 大きな問題の背景モデル

テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! May 06, 2024 pm 04:13 PM

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行​​い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

DualBEV: BEVFormer および BEVDet4D を大幅に上回る、本を開いてください! DualBEV: BEVFormer および BEVDet4D を大幅に上回る、本を開いてください! Mar 21, 2024 pm 05:21 PM

この論文では、自動運転においてさまざまな視野角 (遠近法や鳥瞰図など) から物体を正確に検出するという問題、特に、特徴を遠近法 (PV) 空間から鳥瞰図 (BEV) 空間に効果的に変換する方法について検討します。 Visual Transformation (VT) モジュールを介して実装されます。既存の手法は、2D から 3D への変換と 3D から 2D への変換という 2 つの戦略に大別されます。 2D から 3D への手法は、深さの確率を予測することで高密度の 2D フィーチャを改善しますが、特に遠方の領域では、深さ予測に固有の不確実性により不正確さが生じる可能性があります。 3D から 2D への方法では通常、3D クエリを使用して 2D フィーチャをサンプリングし、Transformer を通じて 3D と 2D フィーチャ間の対応のアテンション ウェイトを学習します。これにより、計算時間と展開時間が増加します。

See all articles