目次
Data2vec
ConvNext
CoBERT
FedX
LoRot
ホームページ テクノロジー周辺機器 AI 2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

Apr 10, 2023 am 08:21 AM
コンピューター アルゴリズム 学習モデル

自己教師あり学習により、コンピューターは画像、音声、テキストの構造を学習することで世界を観察し、理解することができます。これが、人工知能における最近の大きな進歩の多くを推進してきました。

世界中の研究者がこの分野に多大な努力を払ってきたにもかかわらず、自己教師あり学習アルゴリズムが画像、音声、テキスト、その他のモダリティから学習する方法には現在大きな違いがあります。したがって、人工知能フォーラムの Analytics India Magazine は、読者向けに 2022 年の自己教師あり学習モデルのトップ 10 を発表します。

Data2vec

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

紙のリンク: https://arxiv.org/pdf/2202.03555.pdf

オープンソース コード: https://t.co/3x8VCwGI2x pic.twitter.com/Q9TNDg1paj

Meta AI は、音声、画像、テキスト関連のコンピューター ビジョン向けに data2vec アルゴリズムを 1 月にリリースしましたモデル。 AI チームによると、このモデルは NLP タスクにおいて非常に競争力があるとのことです。

入力例に依存した対比学習や再構成は使用しません。 Meta AI チームは、data2vec のトレーニング方法は、入力データの部分的なビューを提供することで予測モデルを表現することであると述べました。

チームは次のように述べています: 「最初にマスクされたトレーニング サンプルを学生モデルでエンコードします。その後、同じモデルでマスクされていない入力サンプルをエンコードしてトレーニング ターゲットを構築します。このモデル (教師モデル) と学生モデルはパラメータのみが異なります。」

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

#このモデルは、マスクされたトレーニング サンプルに基づいて、マスクされていないトレーニング サンプルのモデル表現を予測します。これにより、学習タスクにおけるモダリティ固有の目標への依存が排除されます。

ConvNext

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

紙のリンク: https://arxiv.org/pdf/2201.03545.pdf

オープンソース コード: https://t.co/nWx2KFtl7X

ConvNext (2020 年代の ConvNet モデルとも呼ばれる) は、Meta AI チームによってリリースされたモデルです。 3月モデル。これは完全に ConvNet のモジュールに基づいているため、正確で、設計がシンプルで、スケーラブルです。

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

##VICReg

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占##紙のリンク: https:// t. co/H7crDPHCHV

オープン ソース コード: https://t.co/oadSBT61P3

分散不変共分散正則化 (VICReg) は、分散項と非相関メカニズム ベースを組み合わせます。定数ベクトルや有益でないベクトルを生成するエンコーダの崩壊を避けるための、冗長性の削減と共分散の正則化について。

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占VICReg は、ブランチ間の重み共有、バッチ正規化、特徴正規化、出力量子化、勾配停止、メモリ バンクなどのテクニックを必要とせず、いくつかの機能で良好に動作します。下流のタスク 達成された結果は、最先端のものに匹敵します。さらに、分散正則化項は他の手法のトレーニングを安定化し、パフォーマンスの向上を促進できることが実験的に実証されています。

STEGO

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占紙のリンク: https://arxiv.org/abs/2203.08414

MIT のコンピューター サイエンスおよび人工知能研究所は、マイクロソフトおよびコーネル大学と協力して、コンピューター ビジョンにおける最も困難なタスクの 1 つを解決するために、エネルギーベースのグラフ最適化のための自己教師ありトランスフォーマー (STEGO) を開発しました。 : にラベルを割り当てる人間の監視なしで画像のすべてのピクセルを監視します。

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占#STEGO は「セマンティック セグメンテーション」を学習しました。簡単に言えば、画像内の各ピクセルにラベルを割り当てることです。

セマンティック セグメンテーションは、画像がオブジェクトによって干渉される可能性があるため、今日のコンピューター ビジョン システムにとって重要なスキルです。問題をさらに難しくしているのは、これらのオブジェクトが常にテキスト ボックス内に収まるとは限らないことです。アルゴリズムは、植生、空、マッシュポテトなどの定量化が難しいものよりも、人や車などの個別の「もの」に適していることがよくあります。

公園で犬が遊んでいるシーンを例に挙げます。以前のシステムでは犬しか識別できませんでしたが、STEGO は画像の各ピクセルにラベルを割り当てることで、画像をいくつかの主要なコンポーネントに分解できます。 : 犬、空、草、そして飼い主。

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

「世界を見る」ことができるマシンは、自動運転車や医療診断用の予測モデルなど、さまざまな新興テクノロジーにとって不可欠です。 STEGO はラベルなしで学習できるため、人間がまだ完全に理解していないオブジェクトであっても、さまざまなドメインのオブジェクトを検出できます。

CoBERT

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

論文リンク: https://arxiv.org/pdf/2210.04062.pdf

香港中文大学 (深セン) の研究者は、自己教師あり音声表現学習について、Code BERT (CoBERT) を提案しました。他の自己蒸留法とは異なり、そのモデルはさまざまなモダリティからの表現を予測します。このモデルは、表現学習のために音声を一連の離散コードに変換します。

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

まず、研究チームは、HuBERT の事前トレーニング済みコード モデルを使用して、離散空間でトレーニングしました。次に、コード モデルを音声モデルに改良し、モダリティ全体でより優れた学習を実行することを目指しました。 ST タスクの大幅な改善は、CoBERT の表現が以前の研究よりも多くの言語情報を運ぶ可能性があることを示唆しています。

CoBERT は、ASR タスクに関して現在の最高のアルゴリズムのパフォーマンスを上回り、SUPERB 音声翻訳 (ST) タスクに大幅な改善をもたらします。

FedX

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

## 論文リンク: https://arxiv.org/abs/2207.09158

FedX は、Microsoft が清華大学および韓国科学技術院と協力して立ち上げた教師なしフェデレーテッド ラーニング フレームワークです。このアルゴリズムは、ローカルおよびグローバルの知識抽出と比較学習を通じて、離散的で異種のローカル データから不偏表現を学習します。さらに、これは、フェデレーテッド ラーニング シナリオで既存のさまざまな自己教師ありアルゴリズムへのアドオン モジュールとして使用できる、適応可能なアルゴリズムです。

TriBYOL

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

紙のリンク: https://arxiv.org/pdf/2206.03012.pdf

日本の北海道大学は、小規模バッチの自己教師あり表現学習のために TriBYOL を提案しました。このモデルでは、研究者は適切な表現を学習するために大量のコンピューティング リソースを必要としません。このモデルはトリプレット ネットワーク構造を持ち、3 ビュー損失を組み合わせているため、効率が向上し、複数のデータ セットに対するいくつかの自己教師ありアルゴリズムよりも優れたパフォーマンスを発揮します。

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占#ColloSSL

##紙のリンク: https://arxiv.org/pdf/ 2202.00758 .pdf2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

Nokia Bell Labs の研究者は、ジョージア工科大学およびケンブリッジ大学と協力して、人間の活動を認識するための共同自己教師ありアルゴリズムである ColloSSL を開発しました。

複数のデバイスによって同時にキャプチャされたラベルのないセンサー データ セットは、相互の自然な変換として見ることができ、表現学習用の信号を生成します。この論文では、デバイス選択、コントラストサンプリング、およびマルチビューコントラストロスの 3 つの方法を提案します。 2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

LoRot

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

論文リンク: https://arxiv.org/pdf/2207.10023.pdf

成均館大学研究チームは、ターゲットの監視を支援するために 3 つの属性を使用して局所化可能な回転 (LoRot) を予測する、単純な自己監視型補助タスクを提案しています。

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

#このモデルには 3 つの大きな特徴があります。まず、研究チームはモデルを誘導して豊富な機能を学習させました。第 2 に、自己監視移行が発生している間、分散トレーニングは大幅に変化しません。第三に、このモデルは軽量かつ多用途であり、以前のテクノロジーへの高い適応性を備えています。

2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

#TS2Vec

##紙のリンク: https:// arxiv .org/pdf/2106.10466.pdf2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

マイクロソフトと北京大学は、任意の意味レベルでの時系列の表現学習のための一般的な学習フレームワーク TS2Vec を提案しました。このモデルは、強化されたコンテキスト ビューの階層的手法で対比学習を実行し、個々のタイムスタンプに強力なコンテキスト表現を提供します。

結果は、TS2Vec モデルが最先端の教師なし時系列表現学習と比較してパフォーマンスの大幅な向上を達成していることを示しています。 2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占

2022 年には、自己教師あり学習と強化学習の 2 つの分野で大きなイノベーションが起こるでしょう。研究者たちはどちらがより重要であるかを議論してきましたが、自己教師あり学習の第一人者であるヤン・ルカン氏は次のように述べています。 》

参考資料:

https://analyticsindiamag.com/top-10-self-supervised-learning-models-in-2022/

以上が2022 年トップ 10 の自己教師あり学習モデルがリリースされました。米国と中国の8つの成果がリストを独占の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

2024 CSRankings 全国コンピュータ サイエンス ランキングが発表されました! CMUがリストを独占、MITはトップ5から外れる 2024 CSRankings 全国コンピュータ サイエンス ランキングが発表されました! CMUがリストを独占、MITはトップ5から外れる Mar 25, 2024 pm 06:01 PM

2024CSRankings 全国コンピューターサイエンス専攻ランキングが発表されました。今年、米国の最高のCS大学のランキングで、カーネギーメロン大学(CMU)が国内およびCSの分野で最高の大学の一つにランクされ、イリノイ大学アーバナシャンペーン校(UIUC)は6年連続2位となった。 3位はジョージア工科大学。次いでスタンフォード大学、カリフォルニア大学サンディエゴ校、ミシガン大学、ワシントン大学が世界第4位タイとなった。 MIT のランキングが低下し、トップ 5 から外れたことは注目に値します。 CSRankings は、マサチューセッツ大学アマースト校コンピューター情報科学部のエメリー バーガー教授が始めたコンピューター サイエンス分野の世界的な大学ランキング プロジェクトです。ランキングは客観的なものに基づいています

リモート デスクトップがリモート コンピュータの ID を認証できない リモート デスクトップがリモート コンピュータの ID を認証できない Feb 29, 2024 pm 12:30 PM

Windows リモート デスクトップ サービスを使用すると、ユーザーはコンピュータにリモート アクセスできるため、リモートで作業する必要がある人にとっては非常に便利です。ただし、ユーザーがリモート コンピュータに接続できない場合、またはリモート デスクトップがコンピュータの ID を認証できない場合、問題が発生する可能性があります。これは、ネットワーク接続の問題または証明書の検証の失敗が原因である可能性があります。この場合、ユーザーはネットワーク接続をチェックし、リモート コンピュータがオンラインであることを確認して、再接続を試行する必要がある場合があります。また、リモート コンピュータの認証オプションが正しく構成されていることを確認することが、問題を解決する鍵となります。 Windows リモート デスクトップ サービスに関するこのような問題は、通常、設定を注意深く確認して調整することで解決できます。時間または日付の違いにより、リモート デスクトップはリモート コンピューターの ID を確認できません。計算を確認してください

CLIP-BEVFormer: BEVFormer 構造を明示的に監視して、ロングテール検出パフォーマンスを向上させます。 CLIP-BEVFormer: BEVFormer 構造を明示的に監視して、ロングテール検出パフォーマンスを向上させます。 Mar 26, 2024 pm 12:41 PM

上記および筆者の個人的な理解: 現在、自動運転システム全体において、認識モジュールが重要な役割を果たしている。道路を走行する自動運転車は、認識モジュールを通じてのみ正確な認識結果を得ることができる。下流の規制および制御モジュール自動運転システムでは、タイムリーかつ正確な判断と行動決定が行われます。現在、自動運転機能を備えた自動車には通常、サラウンドビューカメラセンサー、ライダーセンサー、ミリ波レーダーセンサーなどのさまざまなデータ情報センサーが搭載されており、さまざまなモダリティで情報を収集して正確な認識タスクを実現しています。純粋な視覚に基づく BEV 認識アルゴリズムは、ハードウェア コストが低く導入が容易であるため、業界で好まれており、その出力結果はさまざまな下流タスクに簡単に適用できます。

このコンピュータではグループ ポリシー オブジェクトを開けません このコンピュータではグループ ポリシー オブジェクトを開けません Feb 07, 2024 pm 02:00 PM

コンピュータを使用しているときに、オペレーティング システムが誤動作することがあります。今日私が遭遇した問題は、gpedit.msc にアクセスすると、正しいアクセス許可がない可能性があるためグループ ポリシー オブジェクトを開けないというメッセージがシステムから表示されることでした。このコンピュータ上のグループ ポリシー オブジェクトを開けませんでした。解決策: 1. gpedit.msc にアクセスすると、アクセス許可がないため、このコンピュータ上のグループ ポリシー オブジェクトを開けないというメッセージが表示されます。詳細: システムは指定されたパスを見つけることができません。 2. ユーザーが閉じるボタンをクリックすると、次のエラー ウィンドウがポップアップ表示されます。 3. ログ レコードをすぐに確認し、記録された情報を組み合わせて、問題が C:\Windows\System32\GroupPolicy\Machine\registry.pol ファイルにあることを確認します。

C++ での機械学習アルゴリズムの実装: 一般的な課題と解決策 C++ での機械学習アルゴリズムの実装: 一般的な課題と解決策 Jun 03, 2024 pm 01:25 PM

C++ の機械学習アルゴリズムが直面する一般的な課題には、メモリ管理、マルチスレッド、パフォーマンスの最適化、保守性などがあります。解決策には、スマート ポインター、最新のスレッド ライブラリ、SIMD 命令、サードパーティ ライブラリの使用、コーディング スタイル ガイドラインの遵守、自動化ツールの使用が含まれます。実践的な事例では、Eigen ライブラリを使用して線形回帰アルゴリズムを実装し、メモリを効果的に管理し、高性能の行列演算を使用する方法を示します。

C++sort 関数の基礎となる原則とアルゴリズムの選択を調べる C++sort 関数の基礎となる原則とアルゴリズムの選択を調べる Apr 02, 2024 pm 05:36 PM

C++sort 関数の最下層はマージ ソートを使用し、その複雑さは O(nlogn) で、クイック ソート、ヒープ ソート、安定したソートなど、さまざまなソート アルゴリズムの選択肢を提供します。

人工知能は犯罪を予測できるのか? CrimeGPT の機能を調べる 人工知能は犯罪を予測できるのか? CrimeGPT の機能を調べる Mar 22, 2024 pm 10:10 PM

人工知能 (AI) と法執行機関の融合により、犯罪の予防と検出の新たな可能性が開かれます。人工知能の予測機能は、犯罪行為を予測するためにCrimeGPT (犯罪予測技術) などのシステムで広く使用されています。この記事では、犯罪予測における人工知能の可能性、その現在の応用、人工知能が直面する課題、およびこの技術の倫理的影響について考察します。人工知能と犯罪予測: 基本 CrimeGPT は、機械学習アルゴリズムを使用して大規模なデータセットを分析し、犯罪がいつどこで発生する可能性があるかを予測できるパターンを特定します。これらのデータセットには、過去の犯罪統計、人口統計情報、経済指標、気象パターンなどが含まれます。人間のアナリストが見逃す可能性のある傾向を特定することで、人工知能は法執行機関に力を与えることができます

改良された検出アルゴリズム: 高解像度の光学式リモートセンシング画像でのターゲット検出用 改良された検出アルゴリズム: 高解像度の光学式リモートセンシング画像でのターゲット検出用 Jun 06, 2024 pm 12:33 PM

01 今後の概要 現時点では、検出効率と検出結果の適切なバランスを実現することが困難です。我々は、光学リモートセンシング画像におけるターゲット検出ネットワークの効果を向上させるために、多層特徴ピラミッド、マルチ検出ヘッド戦略、およびハイブリッドアテンションモジュールを使用して、高解像度光学リモートセンシング画像におけるターゲット検出のための強化されたYOLOv5アルゴリズムを開発しました。 SIMD データセットによると、新しいアルゴリズムの mAP は YOLOv5 より 2.2%、YOLOX より 8.48% 優れており、検出結果と速度のバランスがより優れています。 02 背景と動機 リモート センシング技術の急速な発展に伴い、航空機、自動車、建物など、地表上の多くの物体を記述するために高解像度の光学式リモート センシング画像が使用されています。リモートセンシング画像の判読における物体検出

See all articles