光电学院2018级本科生金诚跟随数学科学学院邓良剑特聘研究员进行的大学生创新创业训练计划项目《基于图神经网络的卫星遥感影像融合问题研究》成果显著。近日，在邓良剑老师的指导下，金诚作为第一作者、邓良剑特聘研究员为通讯作者的题为“Laplacian Pyramid Networks: A New Approach for Multispectral Pansharpening”的遥感图像全色锐化研究论文，在信息融合领域权威期刊Information Fusion（中科院大类一区，TOP期刊, 影响因子12.97）发表。

　　在遥感卫星成像系统中，卫星传感器可获取同一幅地面场景的两幅不同图像，即多光谱图像和全色图像。多光谱图像相较于全色图空间分辨率较低，但光谱波段较多；而全色图像为单波段图像，但具有较高的空间分辨率。遥感图像全色锐化（Pansharpening）问题的主要目的是将全色图像与多光谱图像融合，进而获得高分辨率的多光谱图像（见图1）。

图1. 全色锐化（Pansharpening）示意图（数据来源：WorldView3卫星数据）

　　近年来，基于卷积神经网络（CNN）的全色锐化方法取得了优异效果。然而，现有基于CNN的方法仍存在改进空间。第一，现有CNN方法对图像的多尺度特性（multi-scale property）不能做到充分利用。第二，即便有的工作涉及到对图像多尺度信息的运用（如传统拉普拉斯金字塔分解），但这些工作大部分采用统一的卷积核对图像进行下采样以获得图像多尺度细节信息，这不符合全色锐化的实际物理过程，也会降低神经网络的性能。

图2. 传统拉普拉斯金字塔分解示意图，采用了固定的高斯核进行卷积操作

　　针对上述问题，研究者考虑到改进传统图像处理的多尺度方法——拉普拉斯金字塔分解（LPD），即将输入图像分解为不同尺度的特征图像以获得图像的多尺度细节信息，从而以更好的方式描绘全局和局部信息（详见图2）。但与传统LPD不同的是，本文利用卫星成像传感器的调制传递函数（MTF）去生成卷积核，从而更加适应特殊的全色锐化问题。同时，作者利用这种提出的基于MTF的拉普拉斯金字塔分解得到的多尺度空间来设计端到端的深度学习网络结构。并在金字塔结构的每一层设计相应的子网络去提取不同尺度上的图像信息，最后将得到的不同尺度的特征图像进行上采样进而融合在一起，得到最终的输出图像。为了降低网络的参数量，在各层子网络之间采用递归块参数共享策略（详见图3）。

图3. 论文提出的LPPN网络示意图

　　该研究改进了传统图像处理的拉普拉斯金字塔分解，其优势在于：（1）改进后的方法利用了特定卫星成像传感器的光学调制传递函数（MTF）生成的卷积核进行图像拉普莱斯金字塔多尺度分解，对真实数据效果更佳；（2）基于（1）中的分解，该工作设计了多尺度的结构化子网络，提高了在特征提取阶段管理不同空间细节的能力；（3）建立了多个损失函数来描述每个尺度的信息损失；并采用递归块的参数共享策略应用于每个结构化子网络，有效减少网络参数的数量。实验结果表明所提方法在只有5万左右网络参数量的情况下（远低于其它全色锐化方法数十万的参数量），在WorldView-3、QuickBird与高分2号卫星数据上获得了当前最优的量化指标（详见表1），消融实验结果表明，MTF卷积核与多尺度损失函数策略的使用可充分利用图像的多尺度信息（详见表2）。在视觉效果上，该方法获得的结果较其它方法最为接近参考图像（见图4）。

　　表1. 在多个WorldView3数据上的结果，除去平均时间（记为 A.T.）外，LPPN在其余指标上都取得了最优结果。

　　表2. 消融实验结果，LPPN在使用MTF卷积核，参数共享策略与多损失函数时取得最优结果。

　　图4. 视觉实验结果。上栏表示各种全色锐化方法的局部放大示意图；下栏表示各种全色锐化方法的结果与参考图像的误差示意图，颜色越蓝代表结果与参考图像越接近。“LPPN”为本文所提方法，“GT”为参考图像。

　　金诚同学于2019年秋开始在邓良剑老师的指导下从事自适应卷积神经网络与Transformer的网络设计与相关算法研究。近年来，邓良剑老师作为数学科学学院黄廷祝教授“图像处理数学模型与高性能算法”团队骨干，已指导多名不同学院的本科生在高水平国际会议或高水平期刊发表论文。

　　论文地址：https://www.sciencedirect.com/science/article/pii/S1566253521001809