Contrastive Clustering

news/2024/5/20 7:28:36 标签: 算法, 对比学习, 深度学习, 聚类

文章目录

  • 1
  • 2

1

论文链接:AAAI 2021
博客链接:基于对比学习聚类工作


现有的大部分深度聚类(Deep Clustering)需要迭代进行表示学习和聚类这两个过程。

算法过程:

  1. 对样本进行表示
  2. 对样本进行聚类
  3. 重复1和2

缺点:

  1. 一是迭代优化的过程中容易出现误差累计
  2. 二是聚类过程通常采用 k-means 等需要全局相似性信息的算法,使得需要数据全部准备好后才能进行聚类,故面临不能处理在线数据的局限性

提出的新方法:
在这里插入图片描述


2

对比学习有多火?文本聚类都被刷爆了…
上方链接是 聚类+对比学习 来更好的对文本聚类
聚类关注高层级的语义概念,对比学习增强的语句对更关注句子级别的。


http://www.niftyadmin.cn/n/1697957.html

相关文章

温故而知新的知识蒸馏 Distilling Knowledge

文章目录温故而知新的知识蒸馏温故而知新的知识蒸馏 博客链接:Knowledge Review:超越知识蒸馏,Student上分新玩法! 上图中的(d)是提出的新方法,他融合了Teacher的不同层。 原因:之…

MLP替代Transformer浅谈

[1] MLP-Mixer: An all-MLP Architecture for Vision - Google Research [2] Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks - 清华大学 [3] Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on …

针对(分为子结构的)结构性预测的知识蒸馏(可用于ner)(ner知识蒸馏)

一般的知识蒸馏 词级别知识蒸馏 结构知识蒸馏 实际上不同位置的输出往往并不是相互独立的,比如用 BIOES 标注 NER 标签的例子:“希尔顿离开北京机场了”,其标签为”B-PER, I-PER, E-PER, O, O, B-LOC, I-LOC, I-LOC, E-LOC, O“。I 标签前只…

深入MySQL索引

MySQL索引作为数据库优化的常用手段之一在项目优化中经常会被用到, 但是如何建立高效索引,有效的使用索引以及索引优化的背后到底是什么原理?这次我们深入数据库索引,从索引的数据结构开始说起.索引原理 索引为什么能提高查询效率?当我们有一个索引index(a)之后,写一个查询语…

标签平滑与知识蒸馏

文章目录标签平滑的作用标签平滑与知识蒸馏什么情况会真正导致标签平滑无效或者效果变弱呢?论文与博客: 推翻Hinton NeurIPS论文结论!审稿人评价:该文章在标签平滑和知识蒸馏的关系上取得了重大突破标签平滑的作用 如果我们重新来…

可该变某一属性的GAN:Hijack-GAN

博客与论文:https://mp.weixin.qq.com/s/VpaoKFvKVKM-ajNYFrwuPA Hijack-GAN可以改变生成图片某一个属性,比如性别、微笑、年龄等属性,其他属性尽可能的保持。 Pre-trained Task Models模型抽取属性信息M(G(z))。用(z, M(G(z)))…

命名实体识别方法

线性插值(linearly interpolate) 线性插值指的就是图中interpolate公式。 其中的一个Layer是Bert中一个transform block。X与X′X^{\prime}X′是相近的句子,可以是KNN中的同类句子; X′X^{\prime}X′也可以由X回译得到。 详见论文&#xf…

深度学习里的长尾分布(类别样本不平衡)

文章目录数据不平衡回归问题问题提出标签分布平滑(LDS)特征分布平滑(FDS)引用样本数量不均衡的损失函数CB Loss:基于有效样本的类别不平衡损失有效样本数量损失函数的改写数据不平衡回归问题 问题提出 如上图&#x…