先上我们文章和代码:

论文标题:

Localization Distillation for Dense Object Detection

论文地址:

https://arxiv.org/abs/2102.12252

代码地址 1:

https://github.com/HikariTJU/LD

地址代码 2:

https://github.com/open-mmlab/mmdetection/tree/master/configs/ld

方法概括:把用于分类 head 的 KD(知识蒸馏),用于目标检测的定位 head,即有了 LD(Localization Distillation)。

做法:先把 bbox 的 4 个 logits 输出值,离散化成 4n 个 logits 输出值,之后与分类 KD 完全一致。

意义:LD 使得 logit mimicking 首次战胜了 Feature imitation。分类知识与定位知识的蒸馏应分而治之、因地制宜。

1.1 LD 的诞生


1.1.1 bbox 分布与定位模糊性

说起 LD,就不得不说起 bbox 分布建模,它主要来源于 GFocalV1(NeurIPS 2020)[1] 与 Offset-bin(CVPR 2020)[2] 这两篇论文。

我们知道 bbox 的表示通常是 4 个数值,一种如 FCOS 中的点到上下左右四条边的距离(tblr),还有一种是 anchor-based 检测器中所用的偏移量,即 anchor box 到 GT box 的映射(encoded xywh)。