InsMix: Towards Realistic Generative Data Augmentation for Nuclei Instance Segmentation

摘要

1. 遵循“复制-粘贴-平滑”原理并执行形态约束的生成实例扩充
2. 也就是提出了形态学约束，使增强图像能够获得关于细胞核的丰富信息，同时保持其形态学特征（例如，几何形状和位置）
3. 为了充分利用背景的像素冗余并提高模型的鲁棒性，进一步提出了一种背景扰动方法，该方法在不扰乱原始核分布的情况下随机打乱背景patch
4. 为了实现原始实例和模板实例之间的上下文一致性，设计了一个具有前景相似性编码器（FSE）和三元组丢失的平滑GAN
   代码地址

本文方法

数据增强方法

MixUp方法是一种组合输入图像的随机样本的数据增强方法
CutOut通过将矩形区域随机掩蔽为零来增强图像
CutMix结合了MixUp和CutOut，从一张图像中随机裁剪一个补丁，并将其放置在另一张图像上
CowOut和CowMix，通过引入随机裁剪掩模来扩展CutOut和CutMix

---

本文执行复制粘贴平滑，实现更真实的数据增强。InsMix与以前的复制粘贴方法的主要区别至少在以下三个方面：

1. 没有直接执行复制粘贴，而是提出了形态学约束（SSD，即规模、形状和距离）来保持细胞核的形态学特征（即位置、聚类等）；
2. 除了前景增强外，我们还提出了一种背景扰动方法，以充分利用背景信息的有效利用来进行数据增强，从而增强分割模型的鲁棒性；
3. 为了生成逼真的增强图像，我们引入了基于三元组丢失的平滑GAN，其中我们设计了前景相似性编码器（FSE）来将原始核上下文信息编码到模板核实例中

具有形态学约束的前景增强

约束如下：

其中，fscale、fshape、fdis分别表示用于评估尺度差、形状一致性和质心距离的函数。参数ρ、 δ和γ通过交叉验证确定

提高鲁棒性的背景扰动

将背景区域分割成20×20个斑块，然后以α的比例（经验设置为0.2）随机打乱斑块。这样，细胞核的分布就不会紊乱，分割模型对尖锐边缘的分散（如细胞核的不规则形状和不完整纹理）具有鲁棒性

Smooth-GAN
辨别器

生成器

前景相似编码器（FSE）
以卷积方式计算原始实例patch的余弦相似度，如下所示：

对这部分不是很了解，大概知道是图像生成

实验结果