YOLOv4(一):输入端的改进

Mosaic

YOLOv4中提出的Mosaic数据增强是参考2019年底提出的CutMix数据增强的方式,但CutMix只使用了两张图片进行拼接,而Mosaic则采用了4张图片,随机缩放随机裁剪随机排布的方式进行拼接。一张图相当于4张图,可以减少训练所需的batch size。

image.png

CmBN

在梯度累积时,模型不同batch的参数梯度会累积在一起一次性反向传播更新参数,但BN的统计量却是在每个batch迭代更新的,这使得反向传播时会产生偏差。CmBN(Cross mini-Batch Normalization)则是在梯度累积的同时保证BN的统计量只累积更新,在反向传播的同时更新统计量。

image.png

SAT

SAT(Self Adversarial Training)即自对抗训练,文中没有详细说明,可以参考论文Adversarial Examples for Semantic Segmentation and Object Detection。

第一阶段,将权重设置为固定,图片设置为可导,对目标检测正确的区域采用反向label(即错误的label),计算Loss并进行反向传播,对图片产生扰动,叠加到图片上实现攻击。此时图片肉眼看上去变化不大,但对于神经网络来说,图片已经更接近于反向label。在第二阶段就是正常训练,把被攻击了的图片输入网络进行训练。作者将其归纳为一种数据增强操作。

-------------本文结束感谢您的阅读-------------