智能遥感：AI赋能遥感技术

随着人工智能的发展和落地应用，以地理空间大数据为基础，利用人工智能技术对遥感数据智能分析与解译成为未来发展趋势。本文以遥感数据转化过程中对观测对象的整体观测、分析解译与规律挖掘为主线，通过综合国内外文献和相关报道，梳理了该领域在遥感数据精准处理、遥感数据时空处理与分析、遥感目标要素分类识别、遥感数据关联挖掘以及遥感开源数据集和共享平台等方面的研究现状和进展。首先，针对遥感数据精准处理任务，从光学、SAR等遥感数据成像质量提升和低质图像重建两个方面对精细化处理研究进展进行了回顾，并从遥感图像的局部特征匹配和区域特征匹配两个方面对定量化提升研究进展进行了回顾。其次，针对遥感数据时空处理与分析任务，从遥感影像时间序列修复和多源遥感时空融合两个方面对其研究进展进行了回顾。再次，针对遥感目标要素分类识别任务，从典型地物要素提取和多要素并行提取两个方面对其研究进展进行了回顾。最后，针对遥感数据关联挖掘任务，从数据组织关联、专业知识图谱构建两个方面对其研究进展进行了回顾。

除此之外，面向大智能分析技术发展需求，本文还对遥感开源数据集和共享平台方面的研究进展进行了回顾。在此基础上，对遥感数据智能分析与解译的研究情况进行梳理、总结，给出了该领域的未来发展趋势与展望。

引言

近几年来，国内外人工智能的发展和落地应用如火如荼，促成这种现象的原因可以归纳为两个关键词，即“大数据”与“高算力”。在地理空间数据分析与应用领域，这种变化也正在发生着，比如在国家高分辨率对地观测重大科技专项（简称“高分专项”）等国家重大任务的推动下，我们可获取的地理空间数据越来越多，另外，以“云+端”架构为代表的高性能计算框架也在不断发展，促进了算力的提升。在此背景下，以地理空间大数据为基础，利用人工智能技术挖掘其深层信息、赋予其更多的应用模式，将成为未来地理空间数据分析应用领域发展的长期主题。

发展遥感数据智能分析技术的目的是将长期积累的遥感数据转化为对观测对象的整体观测、分析、解译，获取丰富准确的属性信息，挖掘目标区域的演化规律，主要包括遥感数据精准处理、遥感数据时空处理与分析、遥感目标要素分类识别、遥感数据关联挖掘等。此外，面向大智能分析技术发展需求，遥感开源数据集和共享平台方面也取得了显著进展（陈述彭等, 2000; 宫辉力等, 2005）。

遥感数据精准处理方面，遥感数据精准处理的目的是对传感器获取的光谱反射或雷达散射数据进行成像处理和定标校正，恢复为与地物观测对象某些信息维度精确关联的图像产品。传统方法需要根据卫星、传感器、传输环境、地形地表等先验模型，以及外场定标试验获取定标参数，建立精确的成像模型将观测数据映射为图像产品。随着传感器新技术的发展和分辨率等性能的提升，先验模型的建立越来越困难，外场定标的难度和消耗也越来越大，并且成像处理和定标校正获取的模型和参数与传感器的耦合，只能以一星一议的方式实现，无法多星一体化实现。如何在传统方法的基础上，构建观测数据到精准图像产品的深度学习网络结构，设置面向不同应用的图像优化指标体系，以大量历史数据和标注结果作为输入，实现网络结构对传感器物理模型和参数的精确重构和逼近，形成基于人工智能技术的多星一体化遥感图像精准处理能力。

遥感数据时空处理与分析方面，多时相影像相比单一时相的遥感影像，能够进一步展示地表的动态变化和揭示地物的演化规律。然而，一方面受限于遥感自身的时间分辨率与空间分辨率之间的不可兼得；另一方面受气象、地形等成像条件的影响，光学传感器获取的遥感影像往往被云层及其阴影覆盖（特别是在多云多雨地区，如我国西南地区），而难以获取真实的地面信息。这样的数据缺失，严重限制了遥感影像的应用；特别是对于多时相影像的遥感应用（如森林退化、作物生长、城市扩张和湿地流失等监测），云层及其阴影所导致的数据缺失将延长影像获取的时间间隔、造成时序间隔不规则的问题，加大后续时间序列处理与分析的难度。因此，进行遥感影像的时间与空间维度的处理与分析对提高遥感影像数据的可用性、时间序列分析水平和遥感应用的深度广度具有重要意义。

遥感目标要素分类识别方面，遥感数据中一般包含大量噪声，大多数现有的处理分析方法并未充分利用计算机强大的自主学习能力，依赖的信息获取和计算手段较为有限，很难满足准确率、虚警率等性能要求。如何在传统的基于人工数学分析的方法基础上，结合人工智能方法，定量描述并分析遥感数据中目标模型失真和背景噪声干扰对于解译精度的影响机理，是遥感智能分析面临的另一项关键科学问题。通过该问题的分析与发展，有望实现构建一个基于深度学习的多源遥感数据自动化分析框架，在统一框架下有机融合模型、算法和知识，提升遥感数据中目标要素提取和识别的智能化水平。

遥感数据关联挖掘方面，随着遥感大数据时代的到来，我们可以更方便地获取高分辨率和高时间采集频率的遥感数据，对于目标信息的需求，也由目标静态解译信息，拓展到全维度的综合认知与预 测分析。为了满足上述需求，基于海量多源异构遥感数据，实现时间、空间等多维度的信息快速关联组织与分析，是未来遥感解译技术发展的重要方向。

遥感开源数据集和共享平台方面，大多数现有数据集仍然存在数据规模较小、缺乏遥感特性的问题，并且现有深度学习平台难以有效支撑遥感特性及应用，领域内数据集算法模型的准确性、实用性、智能化程度也待进一步提高。如何结合遥感数据特性，建设更具遥感特色的开源数据集和共享平台，是遥感智能生态建设的一项重要研究内容。本文主要围绕上述五个方面的研究，论述遥感智能分析技术的发展现状、前沿动态、热点问题和未来趋势。

 

01国际研究现状

1.1遥感数据精准处理

利用智能手段开展数据预处理技术，国外将智能技术用于遥感数据（光学、SAR、光谱）配准、校正等的工作。

 

1.1.1光学/SAR 精细化处理

遥感图像为遥感应用分析提供了数据基础，可广泛应用于农林监测、城市规划、军事侦察等领域，遥感数据质量是决定其应用性能的关键。评价遥感数据质量的指标包括图像时间/空间分辨率、图像幅宽、空间特征、光谱特征、辐射几何精度等。高质量遥感影像具有高分辨率、高信噪比等特点。提升遥感影像质量的方法可大致分为两类，一是改进传统成像算法聚焦得到高质量图像；二是将已有的低质量的图像通过去噪去云以及超分辨率重建等技术得到高分辨率高质量图像。与传统的 SAR成像算法比较，基于深度学习的SAR 成像算法可以简化成像过程。Rittenbach等人（2020）提出 RDAnet 神经网络从原始雷达回波数据训练聚焦得到SAR图像，网络经过训练可以匹配距离多普勒算法的性能，算法将SAR成像问题处理为监督学习问题，RDAnet是第一个基于深度学习的SAR 成像算法。Gao等人（2019）提出了一种基于深度网络的线谱估计方法，并将其应用于三维 SAR成像，大大加快了成像过程。Pu（2021）提出了一种深度 SAR 成像算法，减少了 SAR 的采样量，并且提出了一种基于深度学习的 SAR 运动补偿方法，可以有效地消除运动误差的影响。仅依赖遥感卫星载荷能力推动图像分辨率提升，使得高分辨率图像成本大幅提高，给遥感图像大规模应用力带来困难。以超分辨、图像重构等为代表的图像级和信号级处理方法为遥感图像分辨率和质量提升提供了另一种可行的技术途径。Wei 等人（2021）提出了基于 MC-ADM 和基于 PSRI-Net 的两种参数化超分辨率 SAR 图像重建方法，根据预先设计的损耗，深度网络通过端到端训练来学习，可应用于得到高质量 SAR 超分辨率图像的参数估计。Luo 等人（2019）提出了一种基于卷积神经网络的SAR 图像超分辨率重建的方法，针对浮点图像数据采用深度学习对 SAR 图像进行重建，可以更好地重建SAR图像。针对非生成对抗网络在光学遥感图像超分辨重建以及噪声去除中出现的信息损失和对比度降低的问题，Feng（2020）提出了利用生成对抗网络对小波变换域光学遥感图像进行超分辨重建以及噪声去除的方法。Xiong（2021）提出了一种适应于遥感图像超分辨的改进超分辨率生成对抗网络(Super-resolution GAN, SRGAN)，增强了模型在跨区域和传感器的迁移能力。Bai 等人（2021）提出一种改进的密集连接网络遥感图像超分辨重建算法。Dong等（2020）提出了一种改进的反投影网络实现遥感图像的超分辨率重建。Tao（2020）提出了一种以 DPSRResNet 作为其超级解析器的 DPSR 框架的遥感图像超分辨重建算法。Yang 等（2020）提出了一种多尺度深度残差网络(MDRN)用于从遥感图像中去除云。Wang 等（2021）构建了 SAR 辅助下光学图像去云数据库,建立了基于条件生成对抗网络的 SAR 辅助下的光学遥感图像去云模型,实现了SAR辅助下光学图像薄云、雾、厚云等覆盖下地物信息的有效复原与重建。

目前，人工智能在遥感数据处理和图像质量提升方面的应用主要得益于机器学习技术的引入。基于GAN 网络的方法试图利用生成器克服原始高分辨率遥感图像难以获取的问题，另一些无监督的学习方法则通过学习图像质量退化前后关系试图获取原始的高分辨率遥感图像。由于迁移学习可以从其它域样本中获得先验信息，并且在目标域中进一步优化，借鉴迁移学习和零样本学习的思路可以尝试解决遥感图像质量提升的问题。由于作用距离远，遥感图像分辨率和清晰度相对于自然图像仍有一定的差距，这导致遥感图像细节丢失相对较为严重。

为了从遥感图像中获取更为丰富的信息，需要对遥感图像空间特征进行提取（注意力机制、局部-全局联合特征提取等），需要对遥感图像目视效果进行可视化增强（边缘增强、小波变换等）。此外，面向图像细节特征解译的需求，还需要对遥感图像中的弱小目标和细微结构进行检测、提取和增强（弱小目标检测等），提升遥感图像中细节缺失造成的信息损失。

 

1.1.2光学/SAR 定量化提升

可见光、SAR、高光谱等遥感图像的定量化提升主要体现在几何、辐射、光谱、极化等几个方面，通过寻找稳定点来消除成像过程中产生的畸变，改善图像质量，使数据产品能够定量化反映地物的真实信息，以达到定量化提升的效果。在国际主流研究中，神经网络技术主要被应用在提升图像匹配精度方面，并以此带动几何定位精度定量化提升。得益于机器学习方法的引进，遥感图像匹配技术获得了系统性发展，匹配精度获得了显著进步。典型的两种方法为局部特征点匹配方法和区域匹配方法。与全局特征相比，局部特征点与遥感图像获取的大场景松耦合，对大场景的仿射变化、辐射/亮度变化噪声水平不敏感。目前，基于特征点匹配的遥感图像质量提升技术取得了一系列研究成果。典型的特征点匹配包括关键点检测和描述子提取两个部分。深度学习应用于局部特征点匹配可以分成三个阶段，形成了三类代表性方法。第一类方法重点关注和解决关键点检测问题，即如何检测得到特征点的方向、位置、以及尺度信息。关键点检测中响应图的构建是重点，关键点检测的数量和准确性依赖于特征准确、信息丰富的响应图。Savinov 等人（2017）提出了无监督学习的神经网络训练方法，该方法首先将遥感图像目标像素点映射为实值响应图，进而排列得到响应值序列，响应序列的顶部/底部像素点即可以视为关键点。Ma 等人（2019b）采用由粗到细的策略，先用一个卷积神经网络计算近似空间关系，然后在基于局部特征的匹配方法中引入考虑空间关系的匹配策略，同时保证了精度和鲁棒性。第二类方法重点关注和解决描述子提取问题，即用一组特征向量表示描述子，描述子代表了特征点的信息，可以通过端到端训练获得描述子。描述子训练是获得高精度匹配结果的关键。Simo-Serra 等人（2015）提出了 Deep-Desc 特征点描述子提取方法，该方法中神经网络采用了 Siamese 结构（Chopra等, 2005），构造了一种 128 维的描述子，应用于具有一定差异性的图像对匹配问题，通过比较描述子欧氏距离对图像间描述子的相似性进行衡量。第三类方法关注于联合训练关键点检测模块和描述子提取模块。关键点检测和描述子提取两个模块的协同工作和联合训练是该方法重点解决的难点。Yi 等人（2016）提出了基于 LIFT 网络的联合训练，是最早解决关键点检测和描述子提取的联合训练的网络之一。LIFT 网络的输入是以 SIFT 特征点（Lowe, 2004）所在图像块，LIFT 网络的关键点检测效果也与 SIFT算法类似，鲁棒性较好。Ono 等人（2018）提出的LF-Net，采用 Siamese 结构训练整个网络，通过深层特征提取网络产生特征图。Shen 等人（2019）以LF-Net 为的基础，提出了基于感受野的 RF-Net 匹配网络，该网络实现关键点检测时保留了遥感图像低层特征、部分保留了遥感图像高层特征，在描述子提取中采用了与 Hard-Net（Mishchuk 等, 2017）一致的网络结构。与局部特征点相比，区域特征对整体性表征更加完整，对区域形变、区域变化等的稳定性更好。传统区域特征匹配技术的代表为模板匹配方法。深度学习应用于区域特征匹配形成了两类代表性方法。第一类方法的核心思想是用分类技术解决匹配问题。Han 等人（2015）利用 MatchNet 提取图像区域特征，将三个全连接层得到特征的相似性作为输出，对输出采用概率归一化处理(Softmax)进行分类匹配。Zagoruko 等人（2015）重点解决了对光照变化、观测角度具有很好适应性的区域特征提取问题，提出了基于DeepCompare 网络的区域特征提取方法，该方法的匹配性能对于不同时间空间获取的遥感图像具有极佳的稳定性。第二类方法的核心思想是构建合适的描述子解决区域特征匹配问题。Tian 等人（2017）提出了一种 L2-Net网络的区域匹配方，该网络生成了128 维的描述子，在迭代次数较少的约束下，利用递进采样策略，对百万量级的训练样本进行遍历学习，并通过额外引入监督提高学习效率，该网络泛化能力较好。

可见，深度学习网络的引入在特征提取、关键点检测和描述子提取等多方面优化了遥感图像匹配能力。考虑到深度学习网络的持续研究，网络结构、训练方式的更新和进步有望进一步提升遥感图像匹配精度，基于深度学习的遥感图像匹配算法仍然具有相当的研究价值和应用前景。

除了几何质量定量化提升外，还有少数研究学者开展了利用神经网络技术在辐射、光谱、极化定量化提升方面的研究工作。杨进涛等人（2019）提出了一种基于海量 SAR 数据进行地物散射稳定特性的分析与挖掘，并成功在普通地物中找到一种统计意义下稳定的散射特征量用作定标参考，从而为SAR 系统的常态化辐射定标奠定初步的技术基础。Jiang 等人（2018）考虑到极化观测过程中会受到多种误差的影响，造成极化测量失真，影响数据的极化应用性能，提出一种利用普遍分布的地物进行串扰和幅相不平衡的定量评价方法，该方法不受时间和空间限制，能够实现大量数据极化校正性能的实时、便捷评估，对极化数据质量进行长期监测。和几何定量化提升不同，神经网络技术在这些领域还没有大量的、深入的应用，为后续进一步进行系统性、规模化研究提供了指导方向。

 

1.2遥感数据时空处理与分析

近年来，陆续开展多源遥感时间与空间协同处理与分析方面开展研究工作，力求实现多源数据间互补协同、融合重建，提高遥感时空分析的能力

1.2.1遥感影像时间序列修复

研究人员构建了大量的时间序列遥感影像修复和重建的方法。根据修复所用参考数据的不同，这些方法大致可以分为三类：基于影像本身的修补方法（self-complementation-based）、基于参考影像的修补方法（reference-complementation-based）和基于多时相影像的修补方法（multi-temporal-complementation-based）。基于影像本身的修复方法利用同一影像上无云/影覆盖区域的数据来修补被云/影覆盖区域的缺失数据；假设影像中数据缺失区域与剩余区域具有相似或相同的统计与几何纹理结构，通过传播局部或非局部无云区域的几何结构来重建云/影区域的缺失数据。依据空间插值与误差传播理论，缺失像素插值（missingpixel interpolation）、影像修补（image inpainting）和模型拟合（model fitting）等多种方法被广泛应用于云影区域的数据重建。虽然能够重建出貌似真实的影像区域，但这些方法对云/影覆盖下地物的类型非常敏感，其修补数据也不适用于进一步的数据分析；并且由于不确定性和误差随着传播而积累，这些方法很难修复大区域或异质缺失数据。为了克服基于影像本身修补方法的瓶颈，Chen 等人（2016）提出了通过模拟参考影像与云/影覆盖影像之间映射与转换关系的基于参考影像修补方法；这类方法依赖于不同光谱数据之间的强相关性，利用多光谱或高光谱影像中对云不敏感的光谱波段来重建被云/影覆盖区域其他波段的缺失数据。比如利用 MODIS数据的第七波段来修复第六波段的数据缺失、利用Landsat 近红外波段来估算水面区域的可见光波段、利用MODIS数据预 测 Landsat 影像的缺失数据和利用不受云雨干扰的合成空间雷达数据来重建被云影覆盖的光学数据等。尽管参考影像能够提供云影覆盖区域的缺失信息，但这类方法仍然受到光谱一致性、空间分辨率和成像时间相关性等限制，而难以重建出高质量的用于模拟地表变化的时间序列数据。前两种方法受限于其对重建影像没有渐进变化的假设，这种平稳性假设将成为土地覆盖变化和作物生长监测等时间序列应用中的明显弱点。遥感卫星以固定的重复周期来观测地表，同一区域又不可能总是被云影覆盖，因此很容易获得同一区域的多时相影像。这些同一区域的多时相影像（有云/影覆盖的和无云/影覆盖的）提供了利用多时相影像修复云/影覆盖区域缺失影像的可能（Chen 等, 2011）。基于多时相影像的修补方法包括两个主要步骤：查找有云/影覆盖区域和无云/影覆盖区域相似的像元（pixel）或区域（patch）和利用相似的像元（区域）预 测云/影覆盖区域的缺失数据。在查找相似像元中，Roy 等人（2008）深入研究并集成空间、光谱和时相等信息来度量有云/影覆盖区域和无云/影覆盖区域像元的相似性。在重建云/影覆盖像元中，Gao等（2017）提出和发展了诸如多时相直接替换、基于泊松方程的复制、时空加权插值等方法；同时也吸纳用于修复传感器条带修复的方法，如近邻相似像元插值（neighborhood similar pixel interpolator，NSPI）（Zhu 等, 2011）和加权线性回归（weightedlinear regression，WLR）等。近年来，深度学习方法也被运用于云影覆盖影像的修复和重建；Grohnfeldt 等人（2018）利用生成对抗网络（generative adversarial networks）来融合合成空间雷达数据和光学影像生成无云影像；Malek等人（2017）利用自动编码网络（autoencoder neuralnetwork）来构建有云影覆盖区域和无云影覆盖区域影像的映射函数；Zhang 等人（2018a）利用深度卷积网络（deep convolutional neural networks）集成光谱、空间和时相信息来修复缺失数据。

虽然现有研究取得了不错的重建效果，但仍存在一些局限性：(1)相对于光谱和空间相似性，多时相影像中的时间趋势能更详细地反映地表覆盖变化，而以往方法（尤其是传统方法）中的简单线性回归或光谱、空间度量很难捕捉复杂的非线性时间趋势；(2)现有的利用深度学习的重建方法多集中运用空间卷积网络 CNN 获取光谱和空间纹理信息（且需要大量的训练样本），少有研究使用循环神经网络 RNN学习跨影像的时间趋势；(3)由于云/影总在不确定的影像区域和不确定的时间上出现，像元级的时间序列难以保证多时相影像的时间间隔相等与时相对齐，加大了现有方法进行时间序列重建的难度。

1.2.2多源遥感时空融合

遥感图像融合研究可大致分为两个阶段。第一阶段主要集中于全色增强算法研究，即通过融合来自同一传感器的全色波段和多光谱波段进而生成高分辨率的多光谱图像。这类算法研究较多，已形成较为成熟的系列算法。第二阶段则是多源多分辨的时空融合算法研究，即通过融合高空间分辨率遥感数据的空间分辨率特征和高时间分辨率遥感数据的时间分辨率特征，进而生成兼具高时间和高空间分辨率的遥感数据。这类研究从最近十几年才发展起来，仍处于快速发展阶段，研究成果相对较少，但是对遥感数据的应用具有重要意义。时空融合算法研究最早出现在 2006 年美 国农业部 Gao（2006）的研究中。其在 Landsat ETM+和MODIS 数据地表反射率的融合中提出一种时空自适应反射率融合模型(Spatial and Temporal AdaptiveReflectance Fusion Model，STARFM)，可融合生成具有和 Landsat ETM+数据一样空间分辨率的逐日（和 MODIS 数据时间分辨率一样）地表反射率数据。此后，系列基于 STARFM 或其他理论框架的融合算法相继被提出。当前的时空融合算法根据其融合原理可大致分为三种：基于解混、基于滤波和基于学习的方法。基于解混的方法，通过光谱替换的方式生成融合图像。基于滤波的方法，待预 测像元值通过对其一定邻域内光谱相似像元的加权求和获得。而基于学习的方法（Huang 等, 2012; Song 等,2012），首先通过学习待融合传感器图像之间的映射关系，然后将先验图像的信息融入融合模型最终生成融合图像。基于学习的时空融合研究起初多在 MODIS 和Landsat 这两类遥感图像上。如针对这两类数据的融合，Song 等人（2012）提出基于稀疏表示的时空反射融合模型。该模型在已知两对 MODIS 和 Landsat图像对差分域中学习它们的映射关系，形成字典对信息。而因为两者图像的空间分辨率存在较大差异，作者设计了两层融合框架，使得基于稀疏表示的方法大大提高了融合精度，但字典对中存在扰动的问题一直不可忽视。Wu 等人（2015）通过引入误差边界正则化的方法到字段对学习中解决了扰动问题。近年来，因深度卷积神经网络在各类图像领域表现出良好性能，Song 等人（2018）提出基于卷积神经网络的遥感图像时空融合算法(SpatiotemporalSatellite Image Fusion Using Deep ConvolutionalNeural Networks，STFDCNN)。他们的模型分两阶段进行学习，首先学习降采样 Landsat 图像（lowspatial resolution，LSR）与 MODIS 图像之间的非线性映射关系；其次学习 LSR Landsat 图像与原始Landsat 图像之间的超分辨率映射关系。通过这两阶段学习模型实现对遥感图像中丰富细节信息的利用。尽管 STFDCNN 模型在时空融合性能上大幅度超过其他融合算法，但因其神经网络层数较少（仅有 3 个隐藏层），如此浅层的卷积神经网络对存在较大空间尺度差异的不同卫星传感器数据（MODIS-Landsat）间的非线性映射关系的学习仍是有难度的。因此，当前如何处理两类传感器数据（MODIS-Landsat）之间的空间差异变化，以及如何确定深度卷积网络的最优层数和卷积核数目仍旧是卷积神经网络时空融合算法研究中亟待解决的问题。此外，Kim 等人（2016）在超分辨重建研究中，通过利用残差网络结构得以训练一个深度的卷积神经网络模型，这对后续遥感图像融合研究具有一定启发。

 

1.3遥感目标要素分类识别

经典遥感要素分类与识别方法一般为“单输入单输出”的模型架构，面向不同目标要素、不同模态数据或不同分类识别任务时，通常设计不同的专用网络模型。而我们实际面临的应用场景中，常会有不同模态的数据供我们使用，并给出多种类型的决策结果，例如，人类的感知系统会结合听、说、看等多种输入，并给出目标的位置、属性等多种信息。而传统的模型架构难以实现这种“多输入多输出”的能力，主要问题在于，一是传统模型对新场景、新任务的适应能力不足；二是模型对各类数据的特征提取过程相对独立，难以实现不同数据的特征共享从而实现性能增益；三是在多输入多输出情况下，传统模型的简单叠加会导致计算和空间复杂度的显著上升，限制其实用能力。为了解决上述问题，当前的主流发展方向是多要素目标信息并行提取，通过在网络模型中探索多模态数据、多任务多要素特征的共享学习，在降低模型复杂度的同时提升其泛化能力。

1.3.1典型遥感目标要素提取

传统的遥感目标要素提取方法面向不同目标要素时，通常设计不同的专用的方法流程。这种流程设计主要解决两类问题，一是针对遥感数据本身的特征/特性分析，为构建适合数据特征/特性的模型提供依据；二是适合遥感数据特点的专用网络模型构建，即以通用的网络模型为基础，构建符合遥感数据特点的模型，改进通用模型在遥感数据中的应用能力。遥感数据的获取过程中存在诸多与自然场景图像不同的影响因素，如电磁波散射特性、大气辐射特性、目标反射特性等，因此对于数据的上述特性的分析和表达是构建有效模型的基础。Kusk 等人（2016）和 Hansen 等人（2017）通过对 SAR 成像时地形、回波噪声等要素进行建模，实现基于 3DCAD 对不同类型地物要素的 SAR 图像仿真。Yan等（2019）通过对舰船等目标进行三维模型构建，从而生成仿真的目标点云数据。Ma 等（2019a）提出了一种包含生成和判别结构的网络模型，通过对抗学习实现样本表观真实性的增强。Zhan 等（2017）和 Zhu 等（2018）提出了一种针对高光谱影像分类的生成对抗网络模型。Zhang 等（2018b）设计出一种基于条件模型的生成对抗网络，用于遥感图像中飞机目标的精细仿真。Yan 等人（2019）则基于点云数据在三维空间上进行船舶模型构建，并利用正射投影变换将模型从模型空间投影至海岸遥感图像上进行仿真数据生成。为了进一步提升仿真对象和遥感背景间的适配性，Wang 等人（2020b）则进一步提出利用 CycleGAN 对仿真的飞机目标和背景进行自适应调整，设计了一种用于目标检测任务的建模仿真数据生成框架。在地物要素分类任务上，Kong 等人（2020）则利用 CityEngine 仿真平台的批量建模 特性，首次探索在广域范围内进行城市级别的场景建模，并发布了一套用于建筑物分割的遥感仿真数据集 Synthinel-1。面向遥感数据特点的专用网络模型设计方面，主要结合遥感图像中目标旋转、多尺度、目标分布特性等特点，针对性设计网络结构来提升专用模型性能。Zhou 等（2018）设计了一种源域到目标域数据共现特征聚焦结构，提升高光谱图像的语义分割效果。Luo 等（2018）针对高光谱图像语义分割中存在的类内特征分布差异，提出了一种均值差异最大化约束模型。Rao 等（2019）设计了一种自适应距离度量模型，提升高光谱图像地物要素的分类精度。Kampffmeyer 等（2016）针对地物要素数量、空间分布差异大的问题，提出了一种结合区域分组与像素分组的模型训练策略，用于国土资源监测任务。Liu 等（2017）针对遥感目标尺度差异大的特点，提出基于沙漏网络的多尺度特征增强模型，提升光学遥感图像的分类精度。Marcos 等人（2018）提出了基于旋转卷积构建的多源数据提取网络，通过编码图像的旋转不变性特征在多个数据集取得了先进的结果。Peng 等人（2020）基于注意机制和密集连接网络有效融合 DSM 数据和光谱图像并获得了更好的分割效果。Hua 等人（2021）提出了特征和空间关系调节网络，利用稀疏注释，基于无监督的学习信号来补充监督任务，显著提升了语义分割的性能。随着遥感图像分辨率的提升、网络深度的增加、参数的堆叠带来性能的提升，与之相伴的是庞大的模型、巨量的参数和缓慢的算法效率。考虑到星上遥感数据实时处理对计算资源、存储资源的限制，一些工作尝试在保留算法高性能前提下，减少模型参数，提高算法运算速度。Valada 等人（2019）利用分组卷积的设计思想提出了一种高效的带孔空间金字塔池化结构，用于高分辨遥感图像地物要素提取。提出的方法能够减少 87.87%的参数量，减少89.88%每秒浮点运算次数（floating-point operationsper second, FLOPS）。Zhang 等人（2019b）基于深度可分卷积设计了一种面向合成孔径雷达图像的船舶检测算法的特征提取网络，大大提升了检测速度，相比于轻量化前的网络检测速度提高了 2.7 倍。Cao等人（2019）利用深度可分卷积设计了一种用于提取数字表面模型数据的结构，该网络结构无需预训练模型仍可以快速收敛，将网络训练时间降低 50%以上。Wang 等人（2019b）提出一种轻量级网络MFNet，实现对高分辨率航拍数据的地物要素分类任务的高效推理，相比于轻量级网络 ResNet-18，提出的网络在分类精度提升的同时，将参数量减少了40%，推理速度提高了 27%。Ma 等人（2020）针对灾后损毁评估任务，以 ShuffleNet v2 模型为基础，设计了一种轻量化建筑物提取模型，相比传统模型，在精度提升 5.24%的同时，速度提高 5.21f/s。上述方法通过结合遥感目标要素特点，通过提出专用网络结构或特征提取方法，提升传统模型针对遥感数据的应用能力。然而，对于不同类型数据、不同特征/特性，仍缺乏统一的网络结构进行表征，因此多要素信息多任务并行网络和模型仍需进一步研究。

1.3.2多要素信息并行提取

多要素信息并行提取方法的研究，主要集中于探索如何在一个统一模型中实现多类遥感地物要素目标的类别、位置等属性信息的高精度获取。如前所述，针对这种典型的“多输入多输出”场景，现有方法重点针对多模态输入数据的特征表示和多任务输出特征的共享融合两方面问题开展研究。特征共享研究方面，根据模型共享参数实现方式的区别，现有方法可大致分为硬参数共享（ hard-parameter sharing ） 和软参数共享（soft-parameter sharing）两种。硬参数共享方法利用同一个模型实现在输入和输出端的多任务分支模型特征共享融合。Liebel 等（2020）面向城市建设状况分析任务，将多个任务共享同一编码器，并分别解码输出，实现同时输出建筑物位置和深度信息。Papadomanolaki 等（2019）将地物要素重建模型融合到分类模型中，并约束分类模型训练，来提升分类效果。Khalel 等（2019）则在同一个网络模型中同时嵌入图像锐化与地物要素分类两类任务的模型。Rosa 等（2020）设计了一种面向农业生产状况监控的多任务全卷积回归网络。软参数共享方法直接将针对不同任务的多个独立网络通过参数加权连接，实现多类任务的共享输出。Volpi 等（2018）将条件随机场拟合结果与图像同时作为数据，构建类内相似度和边界值预 测的两个分支模型，改善地物要素分类结果。Zhang 等（2019a）提出了面向极化 SAR 多通道数据的地物要素分类方法，利用独立的特征提取网络对幅值和相位信息分别建模，利用分类器进行联合约束训练，来提升精度。Shi 等（2020）针对高光谱图像的多类要素分类任务，利用多任务集成学习实现通道选择，获取最优通道组合。针对多模态数据的联合特征表示，如图像纹理特征、三维高程特征、目标要素矢量拓扑特征等，能有效提升各类任务的性能。Chen 等（2019）针对洪灾区域检测任务，提出融合多时相的多模态图像的模型，来提升其检测精度。Fernandez 等（2018）将SAR 图像和多光谱图像作为输入，进行无监督的地物要素分类。Benson 等（2017）在森林冠层三维高度估计任务中，提出利用光谱特性数据的方法，能有效改善传统三维估计方法的精度。

更多知识可关注我们公众号  人工智能技术与咨询

官网：www.chinaai.org.cn