Cross-patch Dense Contrastive Learning for Semi-supervised Segmentation
of Cellular Nuclei in Histopathologic Images
标签
CVPR
备注
半监督 细胞分割 对比学习 教师学生网络
日期
Oct 29, 2024
这篇论文提出了一种基于跨补丁密集对比学习（Cross-Patch Dense Contrastive Learning）的半监督细胞核分割方法，用于组织病理图像中的细胞核分割任务。关键在于在数据标签不足的情况下，从未标记数据中提取有效特征。论文使用对比学习和半监督学习相结合，通过在不同图像的补丁和像素级别上对教师网络和学生网络的特征进行对齐，以实现类内紧凑性和类间分离性，从而提升模型的特征提取能力。主要贡献包括：
- 跨补丁密集对比学习框架：提出了一个新的半监督分割算法，通过在补丁和像素级别上执行对比学习，帮助模型更好地从未标记数据中提取结构信息。
- 一致性正则化与熵最小化：结合一致性正则化和熵最小化来优化模型输出，使伪标签质量更高，从而提升分割性能。
实验表明，该方法在两个公开数据集（DSB和MoNuSeg）上优于现有方法，特别是在标注数据较少的情况下。研究结果展示了在细胞核的分布与形状细节方面，该方法与全监督模型的效果相当，且具有更高的预测精度。
key words: 半监督 分割 对比学习 教师学生网络 类内紧凑性和类间分离性（解耦表征学习？）
consistency regularization 一致性正则化（常用于半监督、自监督）
Method
模型主要框架：Mean teacher框架的半监督分割方法
teacher和student网络的架构是一样的，extractor projector classifier，但是学生网络是监督学习（黑色线），教师网络输入的是Unlabeled数据，无监督学习（蓝色线）
一共有四个损失，是supervised损失，是他自己创造的这个模块里的对比学习损失，按图像理解，是两个网络projector输出的数据进行对比，得到的loss；后两个是consistency regularization和entropy minimization的结果，这四个loss共同构成学生网络的总Loss
一致性正则化
一致性正则化，旨在使模型对相同输入数据的不同版本产生一致的输出。在这篇论文中，教师模型生成伪标签，用于学生模型的训练，即便输入数据存在一定程度的变化，模型依然能保持预测的一致性
后面有提到，其实就是交叉熵损失函数
熵最小化公式
熵最小化通过降低模型预测的不确定性，使得模型在无标签数据上的预测更加自信。熵越小，表明预测结果越接近某一特定类别的概率较大（？没懂）
图像的熵最小化方法和单纯数值的计算方式有所区别：
EMA
对于学生的权重，以衰减的方式进行累加——更接近的轮次，占比更大，更久远的轮次，占比更小（相当于乘以了许多次的1-alpha），alpha为平滑因子
Patch-wise和Pixel-wise采样
对于patch level：
相同位置的patch，直接划分为正对；在同一个patch中，相同位置的像素，划分为正对
根据前景和背景的比例，划分为FDP，BDP等，这两类可以划为负对，再继续在这里划分负对（多对多），怎么分的负对（？）
Experiment
网络结构：
DenseUNet除去输出部分，剩下的作为extractor
全连接+激活+全连接作为projector
输出图像，绿色作为预测，红色作为标签，黄色为共同区域
消融实验
对DSB和MoNuSeg数据集，使用不同量（例如1/32）的数据
有/无半监督
对逐像素的正负对进行采样和计算loss_contr