目次
SOTA モデル開発の実践から来ています
言語モデルは全体的なパフォーマンスに大きな影響を与えます
ニーズに応じてアーキテクチャのタイプを選択してください
トレーニング段階での経験
データの多様性と処理戦略
ホームページ テクノロジー周辺機器 AI HuggingFace が SOTA ビジュアル モデルの作り方を教えます

HuggingFace が SOTA ビジュアル モデルの作り方を教えます

Jun 05, 2024 pm 09:39 PM
モデル ビジョン sota

以前は OpenAI の GPT-4o があり、その後、Google の高度なマルチモーダル大型モデルが次々とヒットしました。

他の実践者たちはショックを受け、これらのスーパーモデルに再び追いつく方法を考え始めました。

HuggingFace とフランスのソルボンヌ大学によるこの論文では、大規模なビジュアル モデルを構築する際の重要な経験を要約し、開発者向けの方法を指摘しています。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

これらの体験は、モデル アーキテクチャの選択、トレーニング方法、トレーニング データなどの多くの側面をカバーしています。著者は、複数の比較を経て、次のような詳細な概要を示しました。

  • 大規模なビジュアル モデルで適切な作業を行いたい場合は、アーキテクチャの選択が非常に重要です。
  • 言語モデルは、ビジュアル モジュールよりも全体的なパフォーマンスに大きな影響を与えます。
  • 段階的な事前トレーニング戦略を採用すると、モデルの機能を構築しやすくなります。
  • 学習データには複数の種類を含め、それらのバランスに注意してください。

HFはこれらの経験を頼りに、同スケールのSOTAビジュアルモデルであるIdefics2を作成することができたと言えます。

Idefics2 は Mistral-7B に基づいており、全体のパラメーター量は 8B で、手書きフォントを正確に認識できます。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

これは専門家による優れたレビューであり、これは優れた調査レポートであり、ビジュアルモデル開発者にとって非常に役立つと言っていますが、同時に、これを万能薬として扱ってはいけないことを思い出させるものでもあります。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

もちろん、アーキテクチャ データは単なるクラウドであり、GPU の搭載が最も重要であると冗談を言う人もいます。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

これにはいくつかの真実がありますが、冗談はさておき、HuggingFace が私たちにどのような経験をもたらしたかを見てみましょう。

SOTA モデル開発の実践から来ています

HuggingFace 論文のこれらの経験は、ビジュアル モデル Idefics2 の開発プロセスから来ています。

同じスケールの旧 SOTA である前世代の Idefics1 および Flamingo と比較すると、Idefics2 は複数のデータセットで優れたパフォーマンスを発揮し、より大きな 13B モデルをも上回ります。

同時に、COCO データセット上の Idefics2 よりわずかに優れている MM1 と比較して、Idefics2 は各ピクチャで消費するトークンが大幅に少なくなります。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

Idefics2 の実際の開発から、HuggingFace が私たちにもたらした経験には、少なくとも次の側面が含まれています:

  • バックボーンとアーキテクチャの選択
  • トレーニング方法と戦略
  • データの多様性と処理戦略

言語モデルは全体的なパフォーマンスに大きな影響を与えます

現在の大規模なビジュアルモデルは主に言語モデル+ビジュアルエンコーダの形式で開発されており、著者はこの2つの全体的なパフォーマンスへの影響を個別に評価しました。

結果は、言語モデルの品質が視覚モデルよりも重要であることを示しています。

同じ数のパラメーターを使用して、より優れた言語モデル (Llama-7B を Mistral-7B に置き換えるなど) を使用すると、下流のタスクにおける大規模なビジュアル モデルのパフォーマンスを大幅に向上させることができます。

ビジュアル エンコーダーのアップグレードによってもたらされる改善は比較的限定的であるため、トレードオフを行う最善の方法は、より強力な言語モデルを優先することです。

HuggingFace が SOTA ビジュアル モデルの作り方を教えますPictures

もちろん、これは、ビジュアル エンコーダーをアップグレードしても効果がないという意味ではありません。条件が許せば、より優れたビジュアル エンコーダーを選択すると、パフォーマンスが向上する可能性があります。

さらに、下流タスクに一致する選択に注意を払う必要があります。たとえば、テキスト認識タスクでは、タスクが高い推論速度を必要とする場合、より軽量なモデルを使用することができます。選択されます。

そして、実際のアプリケーションでは、推論速度とメモリ使用量も考慮する必要がある要素です。Idefics2 が選択した SigLIP-SO400M は、パフォーマンスと効率のバランスが取れています。

ニーズに応じてアーキテクチャのタイプを選択してください

アーキテクチャの選択に関して、このホワイトペーパーでは、完全自己回帰とクロスアテンションという 2 つの一般的なアーキテクチャについて説明します。

完全な自己回帰アーキテクチャは、シーケンス全体の依存関係を考慮して、自己回帰的な方法で各出力を生成します。

後者では、モデルが 1 つのモダリティを処理するときに、別のモダリティの異なる部分に動的に焦点を当てることができ、より柔軟な相互接続を実現します。モーダルインタラクション。

特定の研究において、著者は、どのアーキテクチャのパフォーマンスが向上するかは、事前トレーニングされたバックボーンがフリーズされているかどうかに依存することを発見しました。

(簡単に言うと、事前トレーニングされたバックボーンが正式なトレーニング プロセスに参加している場合は凍結されておらず、参加していない場合は凍結されています)

凍結されていない場合、完全自己回帰アーキテクチャのパフォーマンスが向上します、逆も同様で、クロスアテンション アーキテクチャのパフォーマンスが向上します。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

バックボーンを凍結する必要があるかどうかについては、開発者のニーズの焦点によって異なります。

リソースが限られている状況で、高いパフォーマンスが必要で、レイテンシに非常に敏感な場合は、フリーズがより適切です。

モデルに高い柔軟性と適応性を持たせたい場合は、フリーズしないトレーニング方法を選択する必要があります。

特に Idefics2 では、バックボーンをフリーズしないことを選択したため、それに応じて完全な自己回帰アーキテクチャを採用しました。

HuggingFace が SOTA ビジュアル モデルの作り方を教えます写真

トレーニング段階での経験

適切なアーキテクチャを選択することは重要ですが、トレーニングプロセスも重要です。Idefics2 のトレーニングプロセス中に、著者は参考のためにこれらの経験を要約しました:

最初。全体として段階的な事前トレーニング戦略を採用し、初期段階では低解像度の画像を使用し、その後高解像度の PDF ドキュメントを導入します。このアプローチにより、モデルの複数の機能を徐々に構築できます。

2 つ目は、画像特徴を言語モデルに直接フィードする代わりに学習済みプーリングを使用することです。これにより、画像トークンの数が大幅に削減され、トレーニングと推論の効率が大幅に向上し、パフォーマンスも向上します。

3 番目の方法は、画像を複数のサブ画像に分割し、トレーニング中にそれらをモデルに送信することで、推論時のパフォーマンスを向上させることができます。これは、テキストなどのタスクで特に効果的です。すべての画像をこのように扱う必要があるわけではありません。

4 番目に、命令の微調整フェーズでより多様なデータとタスクを使用すると、モデルの一般化と堅牢性を向上させることができます。

さらに、トレーニングを安定させるために、事前トレーニングされたシングルモーダル バックボーンがトレーニングに参加するとき (フリーズされていない)、著者は LoRA テクノロジーを使用して事前トレーニング パラメーターも適応させます。

データの多様性と処理戦略

トレーニング プロセス自体に加えて、選択されたデータもモデルのパフォーマンスに大きな影響を与えます。

収集段階の初めから、複数のタイプのデータの選択に注意を払う必要があります。たとえば、Idefics2 で使用されるデータには、画像とテキストが配置されたドキュメント (Web ページなど)、画像とテキストのペアの 3 つのカテゴリが含まれます。 (写真のタイトルなど)、OCR 注釈付きの PDF ドキュメント。

さまざまな種類のデータの割合も、単に均等に分割するのではなく、実際のニーズに応じて適切にバランスをとる必要があります。

データサイズに関しては、条件が許せば大きいほど良いですが、もちろん、低品質のデータを除外することに注意を払う必要があります。

もちろん、収集はトレーニングデータを取得するための単なるステップです。モデルを適切にトレーニングしたい場合は、特定の処理が必要です。

さまざまな種類のデータに対して異なる前処理と強化戦略を採用します。たとえば、OCR データの場合は高解像度の画像を使用する必要がありますが、他のデータの場合は低解像度を使用できます。

ここで注意する必要があるのは、画像を処理するときに元のアスペクト比と解像度を保持する必要があるということです。これにより、モデルの適応性を向上させながら、トレーニングと推論の計算オーバーヘッドを大幅に節約できます。

これらの経験があなたにインスピレーションを与えたと思われる場合は、詳細について元の論文を読むことができます。また、コメント エリアで開発経験を共有することも歓迎します。

書類のアドレス: https://www.php.cn/link/52c8b8d56837155b4870fc2658b676f0

以上がHuggingFace が SOTA ビジュアル モデルの作り方を教えますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

Video Face Swap

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

ORB-SLAM3を超えて! SL-SLAM: 低照度、重度のジッター、弱いテクスチャのシーンはすべて処理されます。 ORB-SLAM3を超えて! SL-SLAM: 低照度、重度のジッター、弱いテクスチャのシーンはすべて処理されます。 May 30, 2024 am 09:35 AM

以前に書きましたが、今日は、深層学習テクノロジーが複雑な環境におけるビジョンベースの SLAM (同時ローカリゼーションとマッピング) のパフォーマンスをどのように向上させることができるかについて説明します。ここでは、深部特徴抽出と深度マッチング手法を組み合わせることで、低照度条件、動的照明、テクスチャの弱い領域、激しいセックスなどの困難なシナリオでの適応を改善するように設計された多用途のハイブリッド ビジュアル SLAM システムを紹介します。当社のシステムは、拡張単眼、ステレオ、単眼慣性、ステレオ慣性構成を含む複数のモードをサポートしています。さらに、他の研究にインスピレーションを与えるために、ビジュアル SLAM と深層学習手法を組み合わせる方法も分析します。公開データセットと自己サンプリングデータに関する広範な実験を通じて、測位精度と追跡堅牢性の点で SL-SLAM の優位性を実証しました。

Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Google は大喜び: JAX のパフォーマンスが Pytorch や TensorFlow を上回りました! GPU 推論トレーニングの最速の選択肢となる可能性があります Apr 01, 2024 pm 07:46 PM

Google が推進する JAX のパフォーマンスは、最近のベンチマーク テストで Pytorch や TensorFlow のパフォーマンスを上回り、7 つの指標で 1 位にランクされました。また、テストは最高の JAX パフォーマンスを備えた TPU では行われませんでした。ただし、開発者の間では、依然として Tensorflow よりも Pytorch の方が人気があります。しかし、将来的には、おそらくより大規模なモデルが JAX プラットフォームに基づいてトレーニングされ、実行されるようになるでしょう。モデル 最近、Keras チームは、ネイティブ PyTorch 実装を使用して 3 つのバックエンド (TensorFlow、JAX、PyTorch) をベンチマークし、TensorFlow を使用して Keras2 をベンチマークしました。まず、主流のセットを選択します

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

FisheyeDetNet: 魚眼カメラに基づいた最初のターゲット検出アルゴリズム FisheyeDetNet: 魚眼カメラに基づいた最初のターゲット検出アルゴリズム Apr 26, 2024 am 11:37 AM

目標検出は自動運転システムにおいて比較的成熟した問題であり、その中でも歩行者検出は最も初期に導入されたアルゴリズムの 1 つです。ほとんどの論文では非常に包括的な研究が行われています。ただし、サラウンドビューに魚眼カメラを使用した距離認識については、あまり研究されていません。放射状の歪みが大きいため、標準のバウンディング ボックス表現を魚眼カメラに実装するのは困難です。上記の説明を軽減するために、拡張バウンディング ボックス、楕円、および一般的な多角形の設計を極/角度表現に探索し、これらの表現を分析するためのインスタンス セグメンテーション mIOU メトリックを定義します。提案された多角形モデルの FisheyeDetNet は、他のモデルよりも優れたパフォーマンスを示し、同時に自動運転用の Valeo 魚眼カメラ データセットで 49.5% の mAP を達成しました。

テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! テスラのロボットは工場で働く、マスク氏:手の自由度は今年22に達する! May 06, 2024 pm 04:13 PM

テスラのロボット「オプティマス」の最新映像が公開され、すでに工場内で稼働可能となっている。通常の速度では、バッテリー(テスラの4680バッテリー)を次のように分類します:公式は、20倍の速度でどのように見えるかも公開しました - 小さな「ワークステーション」上で、ピッキング、ピッキング、ピッキング:今回は、それがリリースされたハイライトの1つビデオの内容は、オプティマスが工場内でこの作業を完全に自律的に行​​い、プロセス全体を通じて人間の介入なしに完了するというものです。そして、オプティマスの観点から見ると、自動エラー修正に重点を置いて、曲がったバッテリーを拾い上げたり配置したりすることもできます。オプティマスのハンドについては、NVIDIA の科学者ジム ファン氏が高く評価しました。オプティマスのハンドは、世界の 5 本指ロボットの 1 つです。最も器用。その手は触覚だけではありません

See all articles