Hyperspectral image super-resolution using cluster-based deep convolutional networks

（基于聚类深度卷积网络的高光谱图像超分辨率）
近年来，深度卷积神经网络（Deep Convolutionary Neural Networks，CNNs）在高光谱图像超分辨率中得到了广泛的应用，并取得了显著的效果。然而，现有的基于神经网络的方法大多存在两个主要问题。一种是利用二维卷积提取空间信息，而不注重高光谱图像光谱信息的挖掘。另一种是使用三维卷积，当网络参数增加时，这降低了模型的效率。针对上述问题，提出了聚类深度残差神经网络（CDRNN）的高光谱图像超分辨率方法。CDRNN学习低空间分辨率HSI和高空间分辨率HSI之间复杂的非线性映射。首先，利用非监督聚类方法，根据谱相关性将低空间分辨率遥感影像划分为若干类。然后，使用来自分类的低空间分辨率HSI和对应的高空间分辨率HSI的谱对来训练CDRNN，以建立每个类别的非线性映射。最后，我们将给定的低空间分辨率HSI分类到确定的类别中，并且使用训练的CDRNN从分类的低空间分辨率HSI重构最终的高空间分辨率HSI。我们在三个模拟基准数据集和一个真实的HSI上进行了大量的实验，以评估所提方法的超分辨率性能。

介绍

高光谱图像是利用高光谱成像系统获得的，它包含连续的几十个甚至几百个光谱波段。与普通光学图像相比，高光谱图像不仅包含丰富的地表信息，而且还包含光谱特征。因此，它们被广泛应用于医学成像、矿产勘查、农作物检测等领域，但由于硬件条件的限制和环境因素的干扰，很难获得高空间分辨率的高光谱图像。这限制了高光谱图像在许多高级任务中的实际应用，如图像分类、目标检测等，为了解决这一问题，高光谱图像超分辨率被提出。
超分辨率（SR）是一种很有前途的信号后处理技术，它通过数字图像处理从低空间分辨率图像中估计出相应的高空间分辨率图像。通常，有许多不同的方法来提高HSI的空间分辨率，其中两种主要方法是流行的：与其他高空间分辨率图像的融合和无任何其他辅助图像的单图像SR。基于图像融合的方法包括贝叶斯方法、字典学习方法和矩阵分解方法。例如，Naveed等人提出应用非参数贝叶斯稀疏表示来推断底层材料的光谱和稀疏代码。最后，将稀疏码与估计的频谱相结合，得到估计结果。Zahra等人提出了一种使用频谱解混和稀疏编码的方法。该算法从HSI图像中提取端元矩阵，从多光谱图像中提取丰度矩阵，最后利用稀疏编码作为正则化算子对目标进行约束。Han等人提出了一种基于非因子分解稀疏表示和字典学习的方法，首先从低空间分辨率的HSI中提取谱字典，然后从MSI中估计出相应的稀疏码。最后，将谱字典和稀疏编码相结合，重建出高空间分辨率的HSI。Dian等人提出了一种深度HSI锐化方法（称为DHSIS），用于融合低空间分辨率HSI和高空间分辨率MSI，该方法通过基于深度卷积神经网络的残差学习直接学习图像先验。虽然上述方法都能达到很好的超分辨率效果，但在实际应用中，在同一场景中获得高空间分辨率的辅助图像相对困难，限制了这些方法的进一步应用。
第二类方法是单幅高光谱图像超分辨率方法。这类方法是在不需要任何辅助图像的情况下，直接从低空间分辨率高光谱图像估计高空间分辨率高光谱图像。近年来，深度神经网络，特别是CNN，在图像处理方面已经取得了巨大的成功。受这些在自然图像处理中成功应用的启发，卷积神经网络也被广泛应用于高光谱图像超分辨率问题，并取得了很大的进展。
例如，Yuan等人通过迁移学习技术将在自然图像域训练的模型应用到HSI中，然后利用矩阵分解来提高高光谱图像超分辨率的效果。He等人提出了一种用于高光谱图像超分辨率的拉普拉斯金字塔网络结构，利用金字塔结构逐层重建中间图像，然后利用非负字典学习恢复高光谱图像。最近，Li等人提出了一种基于域迁移学习的高光谱图像超分辨率框架，利用自然图像的先验知识训练模型得到初步的高空间分辨率HSI，然后将初步的高空间分辨率HSI与多光谱图像相结合估计端元矩阵和丰度矩阵得到最终结果。Haut等人提出了一种新的卷积生成器模型，以从无监督的角度超分辨低空间分辨率遥感数据。然而，这些方法都是以自然图像或随机噪声图像作为训练样本，对网络模型进行训练，然后通过迁移学习将训练好的模型应用到高光谱图像中，没有充分利用高光谱图像固有的显著性和代表性特征。因此，上述方法的重建质量仍然不能令人满意。
考虑到高光谱图像的空间特征，Li等人通过设计递归分组模块并将其集成到残差结构中，提出了一种新的分组深度递归残差网络（GDRRN）。该方法直接考虑了HSI的空间特征，但仍不能准确挖掘HSI的深层光谱特征。Jia等人考虑到HSI的频谱特性，提出了一种空间谱网络（SSN）来解决HSI的随机共振问题。Yunsong Li等人提出了一种网络结构，利用低空间分辨率HSI和对应的高空间分辨率HSI的光谱差作为训练数据，学习两者之间的映射关系，得到重建结果。Hu等人提出了一种结合深度学习模型的空间约束（SCT）策略，用于HSI SR。这些方法提高了HSI SR的有效性，但由于两步法对空间信息和光谱信息的分别利用，不可避免地会导致空谱不一致，因此仍有很大的改进空间。
为了更好地利用空间和光谱信息并保持空间-光谱一致性，例如Mei等人首先提出了3D全卷积神经网络（3D-FCNN）来重建高光谱图像的高分辨率并获得优异的性能。最近，Liu等人提出了一种基于残差学习的三维卷积神经网络，该网络利用一个三维卷积核同时提取图像的空间和光谱特征，取得了较好的效果。此外，Qiang Li等人提出了一种混合卷积网络，将2D卷积和3D卷积相结合，在提高空间分辨率的同时有效挖掘光谱信息，获得了良好的超分辨效果。然而，3D卷积的使用极大地增加了网络参数，这意味着训练和测试的更多时间成本。
针对上述问题，提出了一种新的基于聚类的单幅高光谱图像空间重构深度残差神经网络（CDRNN），该网络能够准确地重构空间-光谱相干的高光谱图像。观察光谱相关性在学习光谱映射中的关系，我们合理地认为属于同一类的光谱对比不同类之间的光谱对具有更相似的光谱映射特征，这可以通过相似的光谱反射率来体现。基于这一思想，本文提出了一种基于聚类的深度残差神经网络的高光谱图像超分辨率模型。该模型引入聚类的思想对高光谱图像的像元进行聚类。一方面，这充分利用了图像的空间信息的先验知识。另一方面，每个像元包含了图像中波段总数的特征，体现了对高光谱图像光谱信息的有效挖掘。此外，与使用3D卷积相比，使用2D卷积可以大大减少时间成本。具体而言，首先利用无监督聚类将低空间分辨率HSI划分为若干类，然后利用分类后的低空间分辨率HSI和对应的高空间分辨率HSI的谱对训练CDRNN，为每一类建立非线性映射。然后，使用监督分类将给定的低空间分辨率HSI分类到确定的类别中，并使用训练好的CDRNN从分类后的低空间分辨率HSI重建最终的高空间分辨率HSI。在3个模拟基准数据集和一个真实HSI数据集上的实验结果表明，该方法具有较好的性能。

贡献

1）提出了一种新的聚类深度残差神经网络（CDRNN），该网络能够有效地对场景中的底层物质进行聚类，使网络模型能够更准确地提取高光谱图像的相应空间-光谱特征。
2）与标准残差卷积神经网络不同，我们修改了输入和输出卷积，使其更适合高光谱图像，并修改了残差块的卷积通道数，减少了网络参数，提高了效率。
3）在三个模拟基准数据集和一个真实的HSI数据集上进行了大量实验，评估了所提方法的超分辨率性能。实验结果表明，与现有方法相比，该方法取得了显著的改进。

方法

在本节中，我们将描述所提议方法的具体细节。该方法的流程图如图1所示。

Symbolization

本文假设Χ∈$R^{w\times h\times L}$和Y∈$R^{W\times H\times L}$分别表示低空间分辨率高光谱图像和高空间分辨率高光谱图像，其中𝑤,h和𝑊,𝐻分别表示X,Y的宽度和高度。𝐿 表示HSI光谱带的数量。此外，通过对高空间分辨率HSI Y的每一个波段进行高斯金字塔下采样，得到低空间分辨率HSI X。

Cluster-based deep residual neural network

在这一部分，我们将详细介绍我们的CDRNN的总体架构，其流程图如图1所示。
该体系结构包括聚类模块和深度残差神经网络（DRNN）。DRNN主要由四部分组成：初始特征提取、残差学习子网络、升级操作和图像重建模块。我们的目标是通过所提出的端到端CDRNN直接从低空间分辨率高光谱图像获得高空间分辨率高光谱图像，如
而不是单独处理每个通道的超分辨率高光谱图像,我们重建高光谱图像作为一个整体。通过这种方式,我们不仅可以储备高光谱图像的空间特性,还其光谱相关性。一般来说,该CDRNN网络第一集群输入图像分成几个不同的集群。然后每个集群是美联储深残余神经网络(DRNN)来获取每个集群的重建结果。最后，将所有聚类的图像重建部分组合起来，得到估计的高空间分辨率高光谱图像。DRNN首先通过卷积运算提取聚类后的输入图像的初始特征，然后将其送入残差学习子网络（RLS），最后由像素提升模块对RLS的输出进行上采样。最后，DRNN通过卷积运算得到每个簇的重构部分。此外，我们设计了一个基于残差学习的基本模块，如图2所示。下面，我们将详细描述所提出的CDRNN的几个部分。
具体来说，我们首先通过训练好的聚类算法对输入的低空间分辨率高光谱图像进行分类X= {X₁，X₂，…，X_𝑐}，然后对聚类后的低空间分辨率高光谱图像X₁，X₂，…，X_𝑐进行拼接，得到新的输入图像X~∈$R^{w\times h\times (L\times c)}$，最后应用卷积层得到其初始特征，如下：
其中𝐻_𝐶 (.)表示聚类算法，𝐻_𝐼 (.)是卷积运算，即，初始特征提取层。然后利用RLS算法对初始特征0进行深度特征提取。𝐹₀这里，我们可以进一步表示为
𝐻_𝑅𝐿𝑆 (.)代表提出的RLS的功能，其包括𝐾基本块和卷积层。
在进入图像重建层之前，我们需要将特征图的大小上采样到原始𝑆倍数，以满足超分辨率要求，可以表示为
其中𝐻_𝑈𝑃(.)表示像素提升层的功能，为上采样特征，空间大小为4 × 4。这里，PixelShuffle 操作符用于上采样。据我们所知，转置卷积在输出图像中容易产生伪影。特别是当卷积核的大小不能被步长整除时，会使生成的图像明暗交错。类似的，当叠加多个转置卷积时，伪像通常将被复合成更宽的伪像，而不是被消除。因此，我们很难完全避免使用转置卷积产生伪影。而PixelShuffle算子没有这个缺点，所以本文采用PixelShuffle算子进行上采样。
最后，我们增加了一个卷积层，以减少高光谱图像的光谱数量的特征图的数量。这样，CDRNN网络的输出通道将与输入的低分辨率高光谱图像相同X。卷积层被称为图像重构层，如下：

Clustering

由于高光谱图像中的每一个像元都可以看作是该区域内不同物质光谱响应的混合体，而同一物质在一个波段内的光谱响应是相同的，因此高光谱图像中同一物质的像元之间具有很强的联系。为了保持相似像素之间的强链接关系，在训练阶段，我们利用无监督聚类算法k-means 对低空间分辨率HSI图像进行聚类，将具有相似光谱相关性的像素分类到同一个聚类中，以便网络模型对不同对象的像素进行不同的处理。
使用最小类内距离准则，高光谱图像分类问题可以表示为

其中𝑐和𝑝分别是聚类中心的数量和样本的总数。𝑢_𝑖 ∈$R^{1\times L}$表示第𝑖个聚类中心，𝑝_𝑗∈$R^{1\times L}$表示第𝑗个样本。在这里，𝑑（.）表示欧氏距离函数。
在训练阶段，我们将训练数据集表示为D = {Y_𝑖|𝑖= 1，2，…，𝑛}，其中𝑖∈ $R^{W\times H\times L}$表示第𝑖个数据。为了方便训练，我们将扩展𝑖为二维Y_𝑖∈$R^{(W\times H)\times L}$，然后将Y₁，Y₂，…，Y_𝑛连接起来得到Y~ ∈$R^{(W\times H\times n)\times L}$，作为训练数据集用于训练聚类模块。
将训练好的聚类模块应用于输入的低空间分辨率HSI，根据图像中的不同对象对图像中的像素进行分割，输出与聚类中心相同数目的蒙版，如图3所示。
具体地，输入的低空间分辨率HSI X∈ $R^{w\times h\times L}$，经过训练后的聚类模块得到𝑐 mask M∈$R^{w\times h}$，𝑖= 1，2，…，𝑐值为0/1，表示该像素属于哪个类别。然后将得到的模板分别与图像相乘作为Hadamard乘积并拼接得到新的张量X~∈$R^{w\times h\times (L\times c)}$作为后续深度残差神经网络的输入。

Residual learning subnetwork

高光谱图像的超分辨率重建是一个不适定问题，通常需要额外的先验知识（正则化）来约束重建过程。不同于传统的人工设计低秩、稀疏、全变分等复杂正则化项的方法，本文提出了一种基于RLS的网络来挖掘高光谱图像的先验知识。它级联K个基本块（basic blocks (BBs)）和卷积层，并且可以表示为

为了更好地利用初始特征，我们在RLS中引入了一个全局跳跃连接。通过全局跳跃连接，初始特征可以直接传递到RLS的末端，以探索更高级的信息。显式地，RLS的输出可以表示为

其中“+𝐹₀”是残差学习。这种结构设计使得网络在训练过程中收敛更快、更稳定。
本文将设计的基本块简单地与两个卷积层和两个激活函数级联。此外，为了更好地利用当前基本块的输入特征图，在每个基本块中引入跳跃连接，如图2所示。它可以形式化为

Loss function

因为𝑙₁损失不仅可以有效地惩罚小错误，而且在训练阶段保持良好的收敛性[34]。因此，为了更好地测试CDRNN的超分辨效果，本文采用𝑙₁损失函数使重建结果更接近真实情况。具体地，假设训练数据集是T = {（X_𝑖，Y_𝑖）|𝑖= 1，2，…，𝑡}，则可以通过以下损失函数来估计模型：