在空谱融合领域，基于变分模型类和基于深度学习类方法是最先进的两类融合方法，这两类方法具有高度互补性，本研究提出一种充分结合深度学习和变分模型优点的全色和多光谱融合（pansharpening）方法。该方法首先通过一个深度残差卷积神经网络从观测影像（低分辨率多光谱影像和高分辨率全色影像）梯度中学习到目标高分辨率多光谱影像的梯度特征，然后使用网络学习到的梯度特征先验、观测的低分辨率多光谱影像和目标高分辨率多光谱影像构建关系模型，并对关系模型进行优化求解获得高精度融合结果。本研究在QuickBird、WorldView-2和IKONOS传感器的多种地物覆盖类型遥感影像上进行了模拟和真实融合实验。实验结果显示，和先进的对比融合算法相比，该方法在定性和定量上可以获得整体精度更高的融合结果。图1为所提出融合方法的流程框架图。

图1. 流程框架图

图2. QuickBird影像上模拟实验结果

        查看详细>>    H. Shen, M. Jiang, J. Li, Q. Yuan, Y. Wei, and L. Zhang, “Spatial-Spectral Fusion by Combining Deep Learning and Variational Model,” IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(8): 6169 – 6181.