60 を超えるトランスの研究をレビューし、リモート センシング分野の最新の進歩を 1 つの記事にまとめています。

リモート センシング イメージング技術は、過去数十年で大幅に進歩しました。最新の航空機搭載センサーの空間、スペクトル、解像度の継続的な向上により、地球表面の大部分をカバーできるようになったため、リモート センシング技術は、生態学、環境科学、土壌科学、水質汚染、氷河学、土地の測定と分析に多くの用途があります。 、など。研究分野は重要な役割を果たします。リモート センシング データは多くの場合マルチモーダルで、地理空間 (ジオロケーション) に位置し、多くの場合地球規模で存在し、データ サイズは増大しているため、これらの特性はリモート センシング イメージングの自動分析に独特の課題をもたらします。

オブジェクト認識、検出、セグメンテーションなど、コンピューター ビジョンの多くの分野では、深層学習、特に畳み込みニューラル ネットワーク (CNN) が主流になっています。畳み込みニューラル ネットワークは通常、RGB 画像を入力として受け取り、一連の畳み込み、ローカル正規化、およびプーリング操作を実行します。 CNN は通常、大量のトレーニング データに依存し、結果として得られる事前トレーニングされたモデルをさまざまな下流アプリケーションの汎用特徴抽出器として使用します。深層学習に基づくコンピューター ビジョン テクノロジの成功は、リモート センシング コミュニティにも影響を与え、ハイパースペクトル画像分類や変化検出など、多くのリモート センシング タスクにおいて大きな進歩をもたらしました。

CNN の主な基礎の 1 つは畳み込み演算です。これは、輪郭やエッジ情報など、入力画像内の要素間の局所的な相互作用をキャプチャします。 CNN は、空間的接続性や翻訳等価性などのバイアスをエンコードし、多用途で効率的なアーキテクチャの構築に役立つ機能を提供します。 CNN の局所的な受容野は、画像内の長距離依存関係 (遠く離れた部分間の関係など) のモデリングを制限します。畳み込みフィルターの重みは固定されており、その性質に関係なくすべての入力に同じ重みを適用するため、畳み込みはコンテンツに依存しません。ビジュアル トランスフォーマー (ViT) は、コンピューター ビジョンのさまざまなタスクで優れたパフォーマンスを実証してきました。 ViT は、セルフ アテンション メカニズムに基づいて、シーケンス要素間の関係を学習することで、グローバルな相互作用を効果的にキャプチャします。最近の研究では、ViT には内容に依存した長距離相互作用モデリング機能があり、その受容野を柔軟に調整してデータの干渉と闘い、効果的な特徴表現を学習できることが示されています。その結果、ViT とその亜種は、分類、検出、セグメンテーションなどの多くのコンピューター ビジョン タスクでうまく使用されてきました。

コンピュータ ビジョンの分野における ViT の成功により、リモート センシング解析に基づくトランスフォーマー フレームワークを使用するタスクの数が大幅に増加しました (図 1 を参照)。高解像度画像分類、変化検出、フルカラー鮮明化、建物検出、画像字幕に Transformers が使用されます。これにより、研究者は ImageNet の事前トレーニングを活用したり、ビジュアル トランスフォーマーを使用してリモート センシングの事前トレーニングを実行したりするなど、さまざまな方法を使用して、リモート センシング解析の新時代が開かれます。

#同様に、文献には、純粋な変圧器設計に基づくアプローチ、または変圧器と CNN に基づくハイブリッド アプローチを利用するアプローチがあります。さまざまなリモート センシング問題に対する変圧器ベースの手法が急速に登場しているため、最新の進歩に追いつくことがますます困難になってきています。

この記事では、著者はリモート センシング解析の分野における進歩をレビューし、リモート センシングの分野で一般的な変圧器ベースの手法を紹介しています。

リモート センシング イメージングにおける変圧器ベースのモデルのアプリケーションの全体的な概要を提供し、著者はリモート センシング解析における変圧器の使用を初めて調査しました。この急速に発展し人気のある分野において、コンピュータ ビジョンとリモート センシングの橋渡しをすることで、この分野における最近の進歩の間のギャップを実現します。

• CNN と Transformer の概要を説明し、それぞれの長所と短所について説明します。
• 文献にある 60 以上の変圧器ベースの研究成果をレビューし、リモート センシング分野の最新の進歩について議論します。
• リモート センシング解析における変圧器のさまざまな課題と研究の方向性について話し合います。

#記事の残りの構成: セクション 2 では、リモート センシング イメージングに関するその他の関連研究について説明します。セクション 3 では、リモート センシングにおけるさまざまなイメージング モードの概要を説明します。セクション 4 では、以下の内容を説明します。 CNN とビジュアルトランスフォーマーの概要; セクション 5 では超高解像度 (VHR) イメージングについて概説; セクション 6 ではハイパースペクトル画像解析について紹介; セクション 7 では合成開口レーダー (SAR) におけるトランスフォーマーベースの手法の進歩について紹介; セクション 8 では今後の研究について説明方向 。

詳細については、元の論文を参照してください。

• #論文リンク: https://arxiv.org/pdf/2209.01206.pdf
• ##GitHub アドレス: https://github.com/VIROBO-15/Transformer-in-Remote-Sensing

以上が60 を超えるトランスの研究をレビューし、リモート センシング分野の最新の進歩を 1 つの記事にまとめています。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。