Googleは30年前の古典的なアルゴリズムを再利用し、CVは強化学習を導入しています。

ChatGPT の人気は誰の目にも明らかであり、その成功の背後にあるテクノロジーとしては、人間のフィードバックに基づく教師あり命令の微調整と強化学習が重要です。これらの技術は、コンピューター ビジョン (CV) などの他の AI 分野にも徐々に拡大されています。

コンピューター ビジョンで複雑な出力を扱う場合、成功の主な基準は、モデルがトレーニング ターゲットをどの程度最適化するかではなく、予測能力がタスクにどの程度適合するかであることを私たちは知っています。 . つまり、モデルが意図された用途に対してどれだけうまく機能するかということです。

この一貫性を追求するために、一部の研究者はモデル アーキテクチャ、データ、最適化、サンプリング、後処理などにいくつかの改善を加えました。たとえば、物体検出タスクでは、研究者は NMS (非最大抑制)、セットベースのグローバル損失、および入力データの変更を使用して、テスト時の動作が改善されたモデルを取得しました。これらの方法は大きな利点をもたらしますが、多くの場合、特定のタスクにのみ有用であり、ミッションのリスクを間接的に最適化するだけです。

この現象は、CV だけでなく、自然言語処理 (NLP)、強化学習 (RL) などの分野でも広く研究されています。これらのドメインでは、翻訳や要約の生成など、明確に定義されていないタスクの最適化目標を策定することが非常に困難です。このタイプの問題に対処する場合、一般的なアプローチは、例の出力を模倣することを学習し、強化学習を実行してモデルを報酬関数と一致させることです。 NLP の分野は、事前にトレーニングされた大規模な言語モデルと人間のフィードバックによって定義された報酬を使用して、指定が難しいタスクに取り組むこのアプローチを使用して刺激的な結果を生み出しています。

さらに、同じ方法が画像キャプションタスクでも広く使用されており、CIDEr (Vedantam et al. 2015 によって提案) が報酬として使用されます。それにもかかわらず、私たちの知る限り、報酬の最適化は (非テキストの) コンピューター ビジョン タスクではこれまで検討されていませんでした。

最近、Google Brain チームの研究者は、論文「タスク報酬によるコンピューター ビジョン モデルの調整」の中で、 が REINFORCE アルゴリズム (1992 年にウィリアムズによって提案) を使用していることを実証しました。 ) 報酬関数を使用した事前トレーニング済みモデルの調整は、さまざまなコンピューター ビジョン タスクにすぐに使用できます。

実際、強化学習タスクに関する多くの研究では、Williams の REINFORCE アルゴリズムについて言及しており、このアルゴリズムの重要性が示されています。 REINFORCE アルゴリズムは、ポリシー勾配、さらには強化学習の代表的なアルゴリズムであると言えます。

論文アドレス: https://arxiv.org/pdf/2302.08242v1.pdf

図 1オブジェクト検出、パノラマ セグメンテーション、画像のカラー化における報酬の最適化によってもたらされる量的および質的改善を主に含む、いくつかの重要な結果が示されています。この研究で提案された方法は、さまざまなCVタスクを処理するのにシンプルかつ効果的であり、その汎用性と適応性を実証しています。この論文では主に評価メトリクスの形で報酬を使用しますが、これらの予備的な結果は、この方法が、人間のフィードバックやシステム全体のパフォーマンスなど、より複雑で指定が難しい報酬を持つコンピューター ビジョン モデルを最適化する効果的な方法でもあることを示しています。 。

Twitter ネチズンは、この記事の比較的包括的な要約を提供しました。つまり、この記事で実装された機能は、RL を使用して事前設定を調整することです。訓練されたビジュアルモデル。研究の動機は、LLM 強化学習の成功に触発され、その効果により、ターゲット検出、パノラマ セグメンテーションなどのパフォーマンスが大幅に向上しました。同氏はまた、この研究は視覚的なRLHF（ヒューマンフィードバックからの強化学習）を実現する効果的な方法である可能性があると述べた。

出典: https://twitter.com/johnjnay/status /1627009121378598912

報酬

一般化を失うことなく、この研究では、CV タスクを入力 x (つまり画像) を出力 y = [y_1, y_1,..., y_n] (テキスト トークン シーケンス、バウンディング ボックス シーケンスなど)。本研究では、報酬関数 R を最大化するためのθをパラメータとした条件付き分布 P (y|x, θ) を学習することを目的としています。抽象的な公式を使って説明するために、この記事では次の最適化問題を解決します。

#問題はそこにあり、次のステップはそれを解決する方法です。この記事は 2 つのステップに分かれています。まず、最尤推定を使用してモデルを事前トレーニングし、次に REINFORCE アルゴリズムを使用してモデルを調整します。これら 2 つのステップの具体的なプロセスを見てみましょう:

##最尤法事前トレーニング

# # パラメータ θ は最初に最尤原理を使用して推定され、トレーニング データの分布が取得されます。これは、トレーニング データの対数尤度

# を最大化することによって機能する勾配降下法アルゴリズムを使用して実現されます。アルゴリズム 1 と図 2 は、モデルをトレーニングするための最も一般的な方法である MLE (最尤推定) 最適化ステップを説明しています。このステップを完了すると、MLE モデルが作成されます。

REINFORC アルゴリズムで報酬を最大化

MLE モデルをより適切に最適化してタスクのリスクに適応させるには、報酬関数を最大化することも必要です。特定の入力 x に対して、この研究では REINFORCE アルゴリズムを使用して、特定の x に対する期待される報酬の勾配を推定します。式は次のとおりです。

アルゴリズム 2 の疑似コードが提供されており、図 3 にそのプロセスを示します。

##実験結果

次に、この記事で提案した手法の視覚的なタスクにおけるパフォーマンスを見てみましょう。

パノラマ セグメンテーション

以下の表 1 に示すように、チューニング プロセスにより MLE モデルが大幅に改善されます。目視検査後の結果は、調整後のモデルが、特に小規模なオブジェクトの場合に、一貫性のない予測を回避する点で優れていることを示しています (図 1 を参照)。

#ターゲット検出

表 2 は、この研究が最適化によって元の MLE モデルの mAP スコアを 39.2% から 54.3% に大幅に改善したことを示しています。 Pix2seq では、わずかに大きい 1333×1333 解像度と多くのヒューリスティックを備えた同じサイズの ViT-B モデルが 47.1% を達成しました。より大きな ViT-L バックボーンを使用した場合、Pix2seq は 50.0% という最良のターゲット検出結果を報告しました。

カラーリング

図 4 に示す定性的な結果は、新しいモデルが一貫してよりカラフルな画像を生成することを明確に示しています。

#画像の説明

表 3 の結果は、提案された方法を適用すると MLE モデルが改善できることを示しており、これは文献の以前の観察と一致しており、特定のタスクのリスクを調整するためのこの方法の有効性を示しています。

#

以上がGoogleは30年前の古典的なアルゴリズムを再利用し、CVは強化学習を導入しています。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。