大規模モデルの信頼性はどの程度ですか? IBM と他の学者による「基本モデルの基本的な堅牢性」に関する最新のチュートリアル

NeurIPS は、世界で最も権威のある AI 学会の 1 つとして、毎年学術界で重要なイベントであり、正式名称は Neural Information Processing Systems で、通常 12 月に NeurIPS Foundation が主催します。毎年。 。

カンファレンスで議論される内容には、深層学習、コンピューター ビジョン、大規模機械学習、学習理論、最適化、スパース理論、その他多くの細分化が含まれます。

今年で 36 回目となる NeurIPS は、11 月 28 日から 12 月 9 日までの 2 週間開催されます。

最初の週は米国ニューオーリンズのアーネスト N. モリアル コンベンション センターでの対面会議、二週目はオンライン会議となります。

IBM Research Center の学者やその他の学者が大規模モデルの堅牢性について語っており、非常に注目に値します。

基本モデルは深層学習手法を採用し、大規模なラベルなしデータでの事前トレーニングと、特定のタスクの監視による微調整を行います。機械学習の主流テクノロジー。

基本モデルは、ドメインやデータ パターン全体で一般表現や少数/ゼロショットの一般化を学習する上で大いに期待できますが、使用されるデータ量が多すぎて複雑になるという問題もあります。ニューラル ネットワーク アーキテクチャは、堅牢性とプライバシーの点で前例のない課題と多大なリスクをもたらします。

このチュートリアルは、包括的な講義、実用的でインタラクティブな Jupyter/Colab リアルタイム コーディング デモンストレーション、および基本モデルの信頼性に関するチュートリアルを含む、Coursera のようなオンライン チュートリアルを提供することを目的としています。 . セクシュアリティのさまざまな側面についてのグループ ディスカッション。

https://sites.google.com/view/neurips2022-frfm-turotial

ディレクトリの内容:

1. 基礎モデルと堅牢性の基本
2. コンピューター ビジョンの基礎モデルの詳細
3. 詳細コードの基礎モデル
4. 実践的なコード ウォークスルー
5. 結論のコメント
6. Q&A
7. パネルディスカッション

スピーカー:

実際の機械学習システムは、分布の変更に対して堅牢である必要があります。トレーニング分布とは異なるテスト分布でも適切に動作する必要があります。

資源不足国の貧困マップ [Xie et al. 2016; Jean et al. 2016]、自動運転車 [Yu et al. 2020a; Sun et al. 2016] など。 2020a]、医療診断などの高リスク アプリケーション [AlBadawy et al. 2018; Dai and Gool 2018] では、トレーニング データには見られない環境にモデルを十分に一般化する必要があります。たとえば、テスト サンプルはさまざまな国から来ており、環境、運転状況、病院の違いなど。

以前の研究では、これらの分布の変更は、現在の最先端モデルであっても大幅なパフォーマンスの低下につながる可能性があることを示しています [Blitzer et al. 2006; Daumé III 2007; Sugayama et al. al. 2007; Ganin and Lempitsky 2015; Peng et al. 2019; Kumar et al. 2020a; Arjovsky et al. 2019; Szegedy et al. 2014; Hendrycks and Dietterich 2019; Sakawa et al. 2020a; Recht et al. 2019 2019; Abney 2007; Ruder and Plank 2018; Geirhos et al. 2018; Kumar et al. 2020b; Yu et al. 2020b; Geirhos et al. 2020; Xie et al. 2021a; Koh et al. 2021]。

基本モデルは、ディストリビューション からサンプリングされた大規模で多様なラベルのないデータセットでトレーニングされ、多くの下流タスクに適応できます。

各下流タスク では、基本モデルはトレーニング分布からサンプリングされたラベル付き分布内にあります トレーニング分布(ディストリビューション内、ID) トレーニング データを使用してから、ディストリビューション外 (OOD) テストディストリビューション で評価します。

たとえば、貧困マップ予測モデル [Xie et al. 2016; Jean et al. 2016] では、世界中のラベルのない衛星データからすべての国にとって有用な特徴を学習できます。微調整はナイジェリアのラベル付きサンプルで実行され、最終的にラベル付きサンプルが不足しているマラウイで評価されます。

私たちは次のように考えています: 1) 基本モデルは堅牢性の点で特に有望なアプローチです。既存の研究では、限られた分布の変更に限定される多くのロバスト性介入とは対照的に、ラベルなしデータでの事前トレーニングが OOD テスト分布の精度を向上させる効果的かつ一般的な方法であることを示しています。

ただし、2) 偽の相関や時間の経過に伴う分布の変化などによる、基礎となるモデルが分布の変化に常に対応するとは限らない理由についても説明しました。

最後に、3) 基礎となるモデルの堅牢性を活用し、改善するいくつかの研究の方向性を概説します。

基本モデルが下流タスクのパフォーマンスを向上させる 1 つの方法は、下流トレーニング データの外にある適応モデルに (モデルの初期化を通じて) 帰納的バイアスを提供することであることに注意してください。 . さまざまなデータセットで学習されました。

ただし、同じ帰納的バイアスによって、事前トレーニング データからの有害な関連性がエンコードされ、分布の変化が存在する場合に表現や割り当てに悪影響を与える可能性があります。

#

以上が大規模モデルの信頼性はどの程度ですか? IBM と他の学者による「基本モデルの基本的な堅牢性」に関する最新のチュートリアルの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。