先上我们文章和代码:
论文标题:
Localization Distillation for Dense Object Detection
论文地址:
https://arxiv.org/abs/2102.12252
代码地址 1:
https://github.com/HikariTJU/LD
地址代码 2:
https://github.com/open-mmlab/mmdetection/tree/master/configs/ld
方法概括:把用于分类 head 的 KD(知识蒸馏),用于目标检测的定位 head,即有了 LD(Localization Distillation)。
做法:先把 bbox 的 4 个 logits 输出值,离散化成 4n 个 logits 输出值,之后与分类 KD 完全一致。
意义:LD 使得 logit mimicking 首次战胜了 Feature imitation。分类知识与定位知识的蒸馏应分而治之、因地制宜。
1.1 LD 的诞生
说起 LD,就不得不说起 bbox 分布建模,它主要来源于 GFocalV1(NeurIPS 2020)[1] 与 Offset-bin(CVPR 2020)[2] 这两篇论文。
我们知道 bbox 的表示通常是 4 个数值,一种如 FCOS 中的点到上下左右四条边的距离(tblr),还有一种是 anchor-based 检测器中所用的偏移量,即 anchor box 到 GT box 的映射(encoded xywh)。