近日，我校英才学院2019级本科生王昱栋关于遥感卫星全色图和多光谱图融合的工作被多媒体领域顶级会议ACM International Conference on Multimedia（ACM MM）接收，论文题为“SSconv: Explicit Spectral-to-Spatial Convolution for Pansharpening”, 届时该学生将在会议上展示成果并进行学术交流。王昱栋为论文第一作者，英才学院本科生张添敬和数学科学学院硕士生吴潇分别为第三和第四作者，数学科学学院邓良剑特聘研究员为论文通讯作者。

　　图1. 左上角是全色锐化（Pansharpening）示意图，左下角为论文给出的卷积映射SSconv,右边为论文提出的网络结构框架MUCNN。

　　信息技术的飞速发展使得数据形式逐渐趋向高维化，例如视频数据、多/高光谱图像以及交通流量数据等。然而，高维数据往往存在分辨率低，清晰度差的问题，例如低分辨率的多光谱图像严重影响卫星对地面目标的判断和识别。特别地，遥感卫星除了能获取低分辨率的多光谱图像外，通常还能同时拍摄同地域的高分辨率的全色图像（单光谱灰度图）。我们能否利用这张高分辨率的全色图像来有效提高低分辨率多光谱图像的空间分辨率？全色锐化任务应运而生。全色锐化（Pansharpening）旨在将一张低分辨率的多光谱图像和一张高分辨率的全色图像进行融合进而获得高空间分辨率且多光谱的图像。

　　在传统的神经网络中，对于图像上采样任务通常采用反卷积或者线性插值的方法来实现，但是这些操作对需要同时考虑空间分辨率增强和光谱信息保真的Pansharpening任务并不是十分有效。本文考虑到全色锐化的特殊性，即低分辨率多光谱图像的不同光谱波段其实反应的是同一场景的地物，这启发作者探索能否利用同一像素点的不同光谱信息完成图像上采样任务。论文提出一种光谱到空间的卷积映射（SSconv），并通过卷积提取丰富的光谱信息，然后将得到的光谱特征图（Spectral feature）通过一个映射（Mapping）重新排列，进而得到信息无损的特征输出。在此基础上，本文针对Pansharpening不同分辨率输入的特点，搭建了一个多尺度U型深度学习网络结构（MUCNN），将两种不同分辨率的已知图像作为输入，所提MUCNN可充分利用其潜在的多尺度信息（详见图1）。此外，针对不同尺度的输出构造多尺度损失函数可明显提高所提方法的效果。实验结果表明在不同卫星数据集上所提方法均取得当前最优的量化指标（详见表1），模型的每个结构的有效性均得到消融实验的验证。未来，团队还试图将此方法推广到更多图像融合应用。

表1. 部分实验结果，在五项指标上MUCNN在数据集上都取得了最优结果

　　据了解，ACM MM是多媒体领域顶级会议，也是中国计算机学会CCF-A类推荐会议。该会议致力于为全世界多媒体研究、数据分析等领域的优秀学者提供一个相互交流的平台，其发表的一些重要成果有力推动了相关领域的发展。

　　王昱栋同学于2020年秋加入邓良剑老师的科研团队，目前主要从事自适应卷积神经网络的设计以及相关算法的研究。近年来，作为数学科学学院图像处理数学模型与高性能算法团队的成员，邓良剑老师已指导多名不同学院的本科生发表高水平学术会议和SCI期刊论文。