企业官网建设流程全解析

目标检测这个领域，每隔几年就会冒出一套让人眼前一亮的新范式。2014年前后RCNN系列把深度学习正式带进检测任务，2020年DETR用Transformer把检测框预测变成了集合预测问题，而YOLO从2016年一路迭代到现在，始终占据着工业落地的主流位置。这三条技术路线看似各走各的，实际上它们解决的问题是同一个：在一张图里找到目标在哪、是什么，并且尽可能快、尽可能准。我这些年从YOLOv3一路用到YOLOv8，中间也踩过DETR训练不收敛、Faster RCNN显存爆炸的坑，这篇就把这三条路线的核心逻辑、适用场景和实操经验完整梳理一遍，不管你是刚入门想搞清楚该学哪个，还是已经在做部署想对比选型，都能从中找到能直接用的东西。

1. 三条技术路线的本质差异

1.1 RCNN系列：从候选区域到端到端的两阶段范式

RCNN的核心思路其实很朴素：先想办法找出图里可能有钱东西的区域，再对这些区域逐个分类。2014年的原始RCNN用Selective Search生成约2000个候选框，每个框缩放到固定尺寸后送进CNN提特征，再用SVM分类。这个流程慢得离谱，一张图要几十秒，但它第一次证明了CNN特征在检测任务上远超手工特征。

Fast RCNN做了关键改进，把整张图先过一遍CNN得到特征图，然后通过ROI Pooling从特征图上直接抠出每个候选框对应的特征，避免了2000次重复卷积。这一步把速度提升了一个数量级。但候选框生成仍然依赖外部算法，没有真正端到端。

Faster RCNN用RPN（Region Proposal Network）替换了Selective Search，RPN本身就是一个轻量卷积网络，在特征图上滑动生成候选框。至此整个检测流程全部由神经网络完成，训练也可以端到端进行。我实测下来，Faster RCNN在VOC数据集上mAP能到73%左右，但推理速度在1080Ti上大约5 FPS，离实时差得远。

两阶段检测器的本质优势在于：第一阶段只管"哪里有东西"，第二阶段精细判断"是什么、框多准"。这种分工让它在小目标和高精度场景下表现稳定，至今在医学影像、遥感检测等领域仍是首选。

1.2 DETR：把检测变成集合预测问题

DETR是2020年Facebook提出的，思路完全跳出了传统检测框架。它用Transformer的Encoder-Decoder结构，把检测任务建模成一个集合预测问题：输入一张图，直接输出固定数量（比如100个）的预测框，每个框要么对应一个真实目标，要么对应"无目标"。

这里最关键的设计是二分图匹配损失。训练时，DETR用匈牙利算法把100个预测框和真实标注做最优匹配，匹配上的框计算分类损失和回归损失，没匹配上的框只计算"无目标"分类损失。这样一来，模型不需要预设锚框，也不需要NMS后处理，直接输出最终结果。

DETR的优点是结构极其简洁，没有锚框、没有NMS，端到端可微。但缺点也很明显：训练收敛极慢，原始论文需要500个epoch才能收敛，而YOLO通常几十个epoch就够了。另外DETR在小目标上表现一般，因为Transformer的全局注意力在浅层特征图上计算量太大，通常只在最后一层特征图上做检测。

1.3 YOLO：把检测变成单次回归问题

YOLO的思路最直接：把图像划分成S×S的网格，每个网格负责预测中心落在该网格内的目标。YOLOv1把检测完全当成回归问题，一个前向传播直接输出所有框的坐标和类别。速度极快，但精度不如两阶段方法，尤其是小目标和密集场景。

从YOLOv2开始引入锚框机制，YOLOv3引入FPN多尺度预测，YOLOv4加入大量训练技巧（Mosaic增强、CIoU损失、标签平滑等），YOLOv5工程化做得极好，YOLOv8则进一步简化了结构并支持实例分割、姿态估计等多任务。

YOLO系列的核心竞争力在于速度与精度的平衡。在T4显卡上用TensorRT加速，YOLOv8n在640分辨率下可以跑到1000 FPS以上，这意味着单卡可以同时处理几十路1080p视频流。这也是为什么工业界做实时监控、自动驾驶、产线质检时，YOLO几乎是默认选择。

2. 选型时真正该看的几个硬指标

2.1 你的场景到底需要多快

很多人一上来就问"哪个模型最准"，但实际项目里速度往往是第一约束。我做过一个电力红外数据集的项目，客户要求单卡T4同时处理8路1080p视频，每路25帧，总吞吐200 FPS。这个需求下Faster RCNN直接出局，DETR也够呛，只有YOLO系列能在TensorRT加速后满足。

具体算一下：T4上用TensorRT跑YOLOv8s 640分辨率，FP16精度下单流大约300 FPS。8路视频每路25帧就是200 FPS，看起来够，但实际还要留出解码、预处理、后处理的开销，最终单卡跑6-8路比较稳。如果换成YOLOv8n，单流能到800 FPS以上，跑16路都没问题，但精度会降几个点。

所以选型第一步是算清楚你的总吞吐需求：路数×帧率×（1+余量）。余量一般留30%-50%，因为实际部署中视频解码、内存拷贝、NMS都会吃时间。

2.2 小目标检测的硬需求

DETR在小目标上偏弱，这是Transformer架构决定的。原始DETR只在单尺度特征图上做检测，浅层高分辨率特征没有利用起来。后续的Deformable DETR、DAB-DETR、DINO-DETR都在解决这个问题，通过多尺度可变形注意力把小目标性能提上来了，但结构复杂度也上去了。

YOLO这边，小目标优化主要靠三个手段：一是用更高分辨率的输入（比如从640提到1280），二是加P2小目标检测层，三是用SAHI切片推理。我在一个试卷题目自动切割的项目里，题目文字很小，直接用YOLOv8s 640训练mAP只有0.6左右，后来把输入提到1024并加了P2层，mAP直接到0.85。

Faster RCNN因为RPN本身就在多尺度特征图上生成候选框，小目标天然有优势，但速度代价太大。如果场景允许离线处理，Faster RCNN加FPN仍然是小目标检测的稳妥选择。

2.3 训练数据的规模和标注成本

DETR训练需要大量数据才能收敛得好。原始论文在COCO上训练，COCO有12万张图。如果你只有几千张图，DETR大概率训不出来，或者需要加载预训练权重并冻结backbone。我试过用5000张自标注数据训DETR，即使加载了COCO预训练，mAP也比YOLOv8低10个点以上。

YOLO对数据量的容忍度高得多。YOLOv8在1000-2000张图上做迁移学习，通常就能得到可用的结果。如果数据更少，可以用YOLOv8n加强增强，或者用半自动标注工具先标一批再迭代。

Faster RCNN介于两者之间，但它的训练流程更复杂，需要调RPN的正负样本比例、ROI Align的参数等，新手容易调崩。

3. YOLO实战：从环境搭建到训练调参

3.1 环境搭建的坑与一键脚本

YOLOv8用Ultralytics框架，安装本身很简单：

pip install ultralytics

但实际项目里经常遇到CUDA版本不匹配、PyTorch版本冲突的问题。我的建议是先用conda建一个干净环境：

conda create -n yolo python=3.10 conda activate yolo pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install ultralytics

验证是否装好：

from ultralytics import YOLO model = YOLO('yolov8n.pt') results = model('https://ultralytics.com/images/bus.jpg') results[0].show()

如果这一步能跑通，环境就没问题。注意yolov8n.pt会自动下载预训练权重，国内网络可能慢，可以手动下载后放到当前目录。

提示：如果你用的是RTX 40系显卡，需要CUDA 11.8以上和PyTorch 2.0以上，否则会报算力不匹配的错误。

3.2 数据标注与格式转换

YOLO用的是txt格式标注，每行是class_id x_center y_center width height，坐标都归一化到0-1。如果你用LabelImg或CVAT标注，导出的是VOC XML或COCO JSON，需要转换。

我常用的是一个Python脚本做COCO转YOLO：

import json import os from PIL import Image def coco2yolo(coco_json, img_dir, out_dir): with open(coco_json) as f: data = json.load(f) categories = {c['id']: i for i, c in enumerate(data['categories'])} img_info = {img['id']: img for img in data['images']} for ann in data['annotations']: img = img_info[ann['image_id']] w, h = img['width'], img['height'] x, y, bw, bh = ann['bbox'] xc = (x + bw/2) / w yc = (y + bh/2) / h nw = bw / w nh = bh / h cls = categories[ann['category_id']] txt_path = os.path.join(out_dir, img['file_name'].replace('.jpg', '.txt')) with open(txt_path, 'a') as f: f.write(f"{cls} {xc:.6f} {yc:.6f} {nw:.6f} {nh:.6f}\n")

转换完要检查有没有越界坐标（小于0或大于1），有的话要clip掉，否则训练时会报错。

3.3 训练参数怎么调

YOLOv8的训练入口很简单：

from ultralytics import YOLO model = YOLO('yolov8s.pt') model.train(data='data.yaml', epochs=100, imgsz=640, batch=16, device=0)

但参数怎么设直接影响结果。我整理了几个关键参数的经验值：

我踩过最大的坑是BN崩溃。训练中如果batch太小（比如4以下），BatchNorm的统计量不稳定，loss会突然变成NaN。解决办法是换YOLOv8的bn层为SyncBN，或者把batch提到8以上。如果显存实在不够，用梯度累积模拟大batch。

另一个坑是混淆矩阵总合不唯一。YOLO输出的混淆矩阵有时候行和列加起来对不上，这是因为置信度阈值和NMS的交互导致的。不用太纠结，看整体趋势就行，真要精确分析就导出原始预测结果自己算。

3.4 预训练模型下载与迁移学习

YOLOv8的预训练模型在Ultralytics的GitHub release里都能下到，包括n/s/m/l/x五个尺度。我的经验是：数据量小于2000张用n或s，2000-10000张用m，10000以上用l或x。迁移学习时，backbone的学习率设小一点（比如lr0的0.1倍），检测头用正常学习率。

如果做的是和COCO差异很大的领域（比如红外、医学），可以只加载backbone权重，检测头随机初始化。Ultralytics支持通过model.load('yolov8s.pt')加载部分权重。

4. DETR训练自己数据的完整流程

4.1 DETR的收敛问题与解决方案

DETR训练自己数据最大的挑战就是收敛慢。原始DETR需要500个epoch，即使加载COCO预训练，在自己的数据上也要100-200个epoch才能稳定。我试过用5000张工业缺陷图训DETR，前50个epoch loss几乎不降，到100个epoch才开始有明显下降。

加速收敛的几个手段：一是用Deformable DETR替代原始DETR，它用可变形注意力，收敛速度快10倍左右；二是用DINO-DETR，它引入了对比去噪训练，收敛更快且精度更高；三是冻结backbone前几个stage，只训后面层。

如果坚持用原始DETR，建议把学习率调低到1e-5，用AdamW优化器，weight decay设1e-4。另外DETR对学习率预热很敏感，前几个epoch要用warmup。

4.2 数据格式与配置文件

DETR官方代码用的是COCO格式，需要准备annotations.json和图像文件夹。配置文件里要改几个关键项：

# 类别数改成你的数据集类别数+1（背景） num_classes = 5 + 1 # 数据集路径 dataset_file = 'custom' coco_path = '/path/to/your/dataset' # 训练轮数 epochs = 150 # batch size，DETR显存占用大，T4上只能跑2-4 batch_size = 2

DETR的显存占用比YOLO大很多，同样batch=2，YOLOv8s在T4上能跑，DETR可能就OOM了。解决办法是用梯度累积，或者用Deformable DETR。

4.3 训练中的监控与调参

DETR训练要盯几个指标：分类loss、bbox loss、GIoU loss、cardinality error（预测框数量与真实框数量的差异）。如果cardinality error一直很高，说明模型没学会"该输出多少个框"，这时候要检查二分图匹配是否正常。

我遇到过一个坑：DETR训练时loss正常下降，但mAP一直上不去。后来发现是数据增强太强了，DETR对增强比YOLO敏感，尤其是随机裁剪会破坏目标的完整性。把增强调弱后mAP提升了8个点。

5. 部署与推理优化

5.1 TensorRT加速YOLO的实操

YOLOv8导出TensorRT引擎：

from ultralytics import YOLO model = YOLO('yolov8s.pt') model.export(format='engine', half=True, imgsz=640, device=0)

导出后加载推理：

model = YOLO('yolov8s.engine') results = model('test.jpg')

TensorRT加速后，T4上YOLOv8s 640分辨率FP16大约300 FPS，比PyTorch原生快3-4倍。注意导出时的imgsz要和推理时一致，否则会重新编译。

多路视频拉流推理的架构一般是：RTSP拉流→解码→预处理→TensorRT推理→NMS→业务逻辑。解码用FFmpeg或GStreamer，预处理用CUDA kernel做resize和归一化，避免CPU-GPU频繁拷贝。

5.2 DETR的部署现状

DETR的部署生态远不如YOLO成熟。原始DETR导出ONNX后，后处理（二分图匹配的逆过程）需要自己实现，而且Transformer的注意力算子在TensorRT里支持有限。Deformable DETR的部署更麻烦，因为可变形注意力涉及动态采样点。

如果非要用DETR做部署，建议用ONNX Runtime而不是TensorRT，虽然慢一点但兼容性好。或者考虑用RT-DETR，这是百度提出的实时DETR变体，专门为部署优化过，速度和YOLO接近。

5.3 实际吞吐量估算

回到那个T4 1080p25帧的问题。假设用YOLOv8s TensorRT FP16，640分辨率，单流300 FPS。8路视频每路25帧，总需求200 FPS。看起来余量50%，但实际要算上：

• 解码开销：每路约5-10ms
• 预处理：resize+归一化约2ms
• 后处理NMS：约3-5ms
• 内存拷贝：约2ms

单帧总耗时约15-20ms，即50-66 FPS每路。8路就是400-528 FPS，超过单卡能力。所以实际单卡跑4-6路比较稳。如果要跑8路，用YOLOv8n或者降低分辨率到480。

6. 几个容易踩的坑和冷门技巧

6.1 数据集的坑

电力红外数据集（比如FIRC dataset）做VOC转YOLO时，要注意红外图像的对比度低，直接训练效果差。我通常先做直方图均衡化或者CLAHE增强，再送进网络。另外红外数据集的类别不平衡很严重，正常样本远多于故障样本，要用focal loss或者过采样。

中餐数据集这种类别多且细的，标注一致性是大问题。同一道菜不同人标可能标成不同类别，训练前一定要做标注审核，把混淆的类别合并或者重新定义。

6.2 训练中的玄学问题

YOLO训练中BN崩溃前面说了，还有一个是loss突然飙升然后降下来，这通常是学习率太大或者某个batch有异常样本。检查一下有没有标注框宽高为0的，这种会导致除零错误。

DETR训练中如果出现所有预测框都集中在一个区域，检查一下位置编码是否正常。DETR用的是正弦位置编码，如果实现有bug，模型会失去空间感知能力。

6.3 模型改进的方向

YOLO改进现在主流几个方向：一是换backbone，比如用EfficientNet、RepVGG、MobileNet；二是改检测头，比如Efficient Head、解耦头；三是加注意力，比如SE、CBAM、ECA；四是换损失函数，比如CIoU换SIoU、EIoU。

但我要说的是，大部分改进在工业场景下收益有限。我试过给YOLOv8加各种注意力，mAP提升通常不到1个点，但推理速度降了10%-20%。除非你的场景有明确的瓶颈（比如小目标差、遮挡严重），否则优先调数据和训练策略，而不是改结构。

YOLO加CLIP这种多模态融合是最近的热点，思路是用CLIP的文本编码器提供类别语义信息，帮助YOLO在少样本下识别新类别。这个方向有前景，但目前工程化还不成熟，推理开销也大。

6.4 蒸馏与轻量化

YOLO蒸馏是用大模型（teacher）指导小模型（student）训练。常见做法是让student模仿teacher的中间特征和输出logits。我试过用YOLOv8x蒸馏YOLOv8n，mAP能提升2-3个点，但训练时间翻倍。如果算力允许，值得做。

轻量化方面，YOLOv8n本身已经很小了，2.5M参数。如果还要更小，可以用MobileNetV3替换backbone，或者做通道剪枝。但剪枝后要重新微调，否则精度掉得厉害。

7. 学习路径与资源推荐

如果你是新手，我的建议是先把YOLOv8跑通，从数据标注、训练、推理到部署走一遍完整流程。YOLO的文档和社区最完善，遇到问题基本都能搜到答案。推荐从YOLOv8n开始，用COCO预训练权重在自己的小数据集上微调，感受一下整个流程。

然后回头学Faster RCNN，重点理解RPN和ROI Align的原理。虽然现在用得少，但两阶段的思想在很多新方法里还在用。可以看Detectron2的代码，结构清晰。

最后学DETR，重点理解二分图匹配和Transformer在视觉任务中的应用。DETR的代码比YOLO复杂，建议先看Deformable DETR，它的收敛快，更容易看到效果。

论文方面，RCNN系列看Fast RCNN和Faster RCNN就够了，YOLO看v1、v3、v8的论文，DETR看原始论文和Deformable DETR。代码方面，Ultralytics的YOLO仓库、Facebook的DETR仓库、Detectron2都是必读的。

实际做项目时，不要纠结于"哪个模型最好"，而是先明确你的约束：速度要求、精度要求、数据量、部署环境。约束清楚了，选型自然就出来了。我见过太多人花几周时间对比模型，最后发现数据质量才是瓶颈。把标注做干净、把增强调合理、把训练策略调对，比换模型带来的提升大得多。