北京网站建设服务中心免费域名注册和免费建站
DINO-DETR
- DETR收敛慢的问题
- 1. Contrastive DeNoising Training(对比方法降噪训练)
- 2. Mixed Query Selection(混合查询选择方法对锚点进行初始化)
- 3. Look Forward Twice(两次前向方法)
- ==DINO模型的传播过程，以及部分模块的改进==
DETR收敛慢的问题
-
PnP-DETR（ICCV 2021） 改进了 DETR 计算量大的问题，利用提出的 poll and pool（PnP）采样模块在图像特征上自适应的采样不同粒度的特征，从而实现计算量和性能的折衷。
-
Deformable DETR（ICLR 2021） 通过改变 transformer 中注意力机制的计算方式来减小计算量，其借助可变性卷积的思想，为每个 token 采样固定数量的其他 token 完成注意力的计算。同时，Deformable DETR 引入了多尺度训练来提高小目标检测的性能。至此，对 DETR 存在的两个弊端都进行了探索并使其得到一定程度的缓解。
-
Sparse DETR（ICLR 2022） 在多尺度 Deformable DETR 的基础上进一步降低 encoder 中注意力机制的计算成本，在检测性能不会显著下降的基础上只更新 encoder tokens 的一部分，从而实现选择性地更新 decoder 预期引用的 token。
-
Conditional DETR（ICCV 2021） 认为 DETR 收敛缓慢的原因在于其高度依赖高质量的 content embedding 去定位物体的边界