多视图聚类论文阅读（二）

Deep multi-view semi-supervised clustering with sample pairwise constraints

Neuro Compucting

基于样本对约束的深度多视图半监督聚类

1.1 聚类的相关工作

典型相关分析(CCA)[13]寻求两个投影，将两个视图映射到一个低维公共子空间，其中两个视图之间的线性相关性最大。内核典型相关分析(KCCA)[14]通过在CCA中加入内核技巧来解决更复杂的相关性。

多视图子空间聚类(Multi-view subspace clustering, MvSC)方法[15-20]旨在利用多视图数据揭示潜在的聚类结构，大多数方法通常设计多视图正则化器来描述不同格式特征之间的访问视图关系。近年来，各种基于dnns的多视图学习算法相继出现。深度典型相关分析(DCCA)[21]和深度典型相关自编码器(DCCAE)[22]成功地利用了dnn的非线性映射优势，提高了CCA的表示能力。

深度广义典型相关分析(DGCCA)[23]将深度表示学习的有效性与整合来自两个以上独立视图的信息的泛化相结合。深度嵌入多视图聚类(Deep embedded multi-view clustering, DEMVC)[25]通过协同训练机制从多个视图中学习一致和互补的信息，提高聚类效果。自动编码器网络(AE2)中的自动编码器[26]联合学习每个视图的特定视图特性，并使用一个深层嵌套的自动编码器框架将它们编码成一个完整的潜在表示。

认知深度不完全多视图聚类网络(CDIMC)[27]融合了DNNs预训练、图嵌入和自步长学习，在保持数据局部结构的同时增强了边缘样本的鲁棒性，取得了优异的性能。

认知深度不完全多视图聚类网络(CDIMC)[：
J. Wen, Z. Zhang, Y. Xu, B. Zhang, L. Fei, and G. Xie, ‘‘CDIMC-net: Cognitive deep
incomplete multi-view clustering network, in International Joint Conference
on Artificial Intelligence, pp. 3230–3236, 2020.

1.1.1 深度聚类

利用堆叠自动编码器(stacked autoencoder, SAE)挖掘输入数据的高级表示，然后在辅助目标分布的帮助下，迭代优化基于KL发散的聚类目标。Guo等人[41]进一步提出将SAE的重构损失整合到DEC目标中，以避免嵌入空间的腐蚀，取得了明显的进步。Yang等人[42]将基于sae的面向集群降维和K-means[1]聚类结合在一起，共同提高两者的性能，这就需要另一种优化策略来离散更新集群中心、集群伪标签和网络参数。Guo et al.[43]和Chen et al.[47]利用硬加权自定步速学习的经验，在聚类网络训练中优先考虑高置信度样本，以缓冲离群值的负面影响，稳定整个训练过程。Ren等人利用先验信息克服了DEC无法引导聚类的弱点。Li et al.[45]在卷积特征提取器和软分配模型的帮助下，提出了一个有区别的增强聚类框架。Fard等人[46]提出了一种联合聚类的方法，通过重新考虑K-means损失作为一个可微函数的极限，从而触发一个真正的解决方案。

1.1.2 多视图聚类

多视图聚类[39,40,49,50]的目的是利用现有的多视图特征学习常用的表示，并进行聚类以获得数据分区。对于浅层方法，Cai等[51]通过引入跨视图共享指标矩阵，提出了一种鲁棒的多视图K-means聚类(RMKMC)算法。Xu等人[52]开发了一个改进版本的RMKMC学习多视图模型，同时考虑了样本和视图的复杂性，缓解了局部极小问题。Zhang et al.[53]将每个视图分解为两个具有特定约束的低秩矩阵，并采用传统的聚类方法对对象进行分组。典型相关分析(canonical correlation analysis, CCA)[13]是最重要的学习范式之一，它将两个视图投射到一个紧凑的集体特征域，在这个特征域中，两个视图的线性相关性最大。

随着深度学习的发展，近年来出现了多种深度多视图聚类方法。Andrew et al.[21]尝试通过深度典型相关分析(DCCA)学习两个视图的非线性变换来搜索线性相关表示。作为对DCCA的改进，Wang等人[22]添加了基于自动编码器的术语来刺激模型性能。为了解决上述两种技术只能应用于两个视图的瓶颈，Benton et al.[23]进一步提出从覆盖两个以上视图的数据中学习紧凑表示。最近，Xie等人[24]引入了两种深度多视图联合聚类模型，其中可以同时学习多个潜在嵌入、加权多视图学习机制和聚类预测。Xu等[25]采用协同训练策略，交替共享辅助分布，实现一致的多视图聚类分配。Zhang et al.[26]精心设计了一个嵌套式自动编码器，将来自异构源的信息整合到一个完整的表示中，灵活平衡了多个视图之间的一致性和互补性。Wen等人[27]将特定视图的深度特征提取器和图嵌入策略结合在一起，为每个视图捕获鲁棒的特征和局部结构。

1.1.3 半监督聚类

半监督学习是介于无监督学习和监督学习之间的一种学习范式.
在半监督聚类中，成对约束经常被用作一种先验知识来指导训练过程，因为成对约束在聚类数量不可达的情况下易于实际和灵活地获得。事实上，成对约束可以形象地表示为“必须链接”(ML)和“不能链接”(CL)，用于记录给定数据集中两个示例之间的成对关系。在过去的几年中，带有成对约束的半监督聚类已经成为一个活跃的研究领域。例如，文献[28,29]通过对约束进行两两积分，改进了经典的Kmeans。Kamvar et al.[30]基于修改相似矩阵的思想，在谱聚类(SC)[3]中加入约束，使ML和CL都能得到很好的满足。Chang et al.[31]提出将聚类任务重新建立为二值两两分类问题，在6个图像数据集上显示出优异的聚类结果。Shi等人的[32]利用成对约束来满足人脸聚类场景中性能的增强。Wang et al.[33]提出了软的两两约束来配合模糊聚类。

成对约束的关键：提供何种约束作为条件。

在多视图学习领域，也存在各种基于成对约束的半监督应用。Tang等人[18]精心设计了一种半监督的MvSC方法，在一种新的正则化器的帮助下培养表征学习。Nie等[34]以半监督的方式同时进行多视图聚类和局部结构揭示，学习数据的局部流形结构，取得了令人满意的聚类性能。Qin等人[35]通过联合学习多个亲和矩阵、编码映射、潜在表示和块对角结构诱导的共享亲和矩阵，获得一个理想的共享亲和矩阵来实现半监督子空间学习。Bai等人[36]加入了多视图约束，以缓解某一特定视图的不精确约束的影响，从而发现一种理想的聚类效果。由于篇幅有限，请感兴趣的读者参考[37,38]进行全面了解。

1.2 提出的问题

提出问题：

多视图聚类技术多数方法都忽视了弱监督信息的重要性，以往的聚类方法都没有充分利
用半监督先验知识来指导多视图聚类。众所周知，成对约束在实践中很容易获得，在许多半监督学习场景中经常被使用[28-30]。

现有的大多数研究在微调过程中往往会抛弃解码网络，而忽略了特征属性的保存。这种
操作可能会严重破坏视图特定和视图共享的特征空间，从而影响集群性能。

提出的解决方法

将自监督学习引入到了多视图聚类任务中；

在网络细调过程中联合优化了三种损失，
包括多视图聚类损失、半监督对约束损失和多自编码器重构损失。
具体来说，

聚类损失：对多视图数据的共同表示施加基于 KL散度的多视图聚类损失，同时进行异构特征优化、多视图加权和聚类预测。

提出将成对约束集成到多视图聚类过程中，为了使形成的聚类体系结构更加可信。
使用的方法是将学习到的must-link样本(can -link样本)的多视图表示形式增强为相似(不相似)。

总结而言，这篇文章的主要的贡献点，将多视图聚类的任务中引入了半监督，
而半监督是通过使用用户给定的成对约束作为弱监督来引导聚类学习。

成对约束介绍：
S. Basu, A. Banerjee, and R.J. Mooney, ‘‘Active semi-supervision for pairwise
constrained clustering, in International Conference on Data Mining, pp. 333–
344, 2004.
[29] P. Bradley, K. Bennett, A. Demiriz, Constrained k-means clustering, Microsoft
Research (2000).
[30] S.D. Kamvar, D. Klein, and C.D. Manning, ‘‘Spectral learning, in International
Joint Conference on Artiﬁcial Intelligence, pp. 561-566, 2003