ZeroViT: A Real-Time Object Detector Training from Scratch without Pre-training

当前主流对象检测模型虽然优先考虑高性能，但普遍面临双重瓶颈：高额计算资源消耗和高度依赖大规模预训练数据集（如ImageNet）。为了解决从零开始训练中固有的优化挑战，本文提出了ZeroViT，一种轻量级混合检测架构，能够在无需预训练的情况下实现高性能。具体来说，该架构首先在中间层（第二阶段）引入了中级BigKernel引导机制。通过注入确定性空间归纳偏差，这一机制建立了稳健的特征基础。随后，在位于深层（第3和第4阶段）的GQA-Lite模块中，卷积大内核块FNN取代了传统的MLP设计。通过强制自注意层之间的连续空间相关性，该设计不仅消除了窗户不重叠机制造成的边界伪影，还有效规避了深度空间退化的现象。结合组查询注意力（GQA）的引入，该架构显著减少了参数数量和视频内存占用，同时保留了深度语义建模能力，从而实现了卓越的资源利用效率。实验结果表明，ZeroViT在轻量级配置（约15M参数和68 GFLOP）下表现出卓越的数据利用效率。该模型完全从零训练，COCO2017数据集的mAP50-95达到49.0%，在PASCAL VOC数据集上达到87.0%的mAP 50。该方法不仅在检测准确性上显著优于同类YOLOv8模型和一系列混合架构，无需预训练，还保持了合适的推理速度。因此，它为缺乏预训练重量的工业应用场景提供了高效的从零开始训练解决方案。