从空调电费到建筑全周期：一个数学建模新手如何用Excel搞定“双碳”竞赛题？
2026/6/13 19:16:59
昨天深夜调优部署模型时，盯着任务管理器里那个孤零零的CPU核心在100%满载，而其他15个核心在悠闲地刷网页——这种资源浪费简直让人心痛。单线程推理就像让F1赛车手推着手推车送货，模型计算再快也被串行处理拖垮。今天咱们就聊聊怎么用C++线程池把YOLO推理的吞吐量真正榨出来。
从那个让人失眠的性能瓶颈说起
客户现场反馈，我们的目标检测系统处理1080p视频流时只能跑到15FPS，而硬件是32线程的Xeon服务器。nvidia-smi显示GPU利用率在30%上下跳动，明显在等CPU喂数据。用perf工具抓取热点，发现70%时间卡在预处理和结果后处理上，推理引擎本身反而只占小头。
最原始的推理循环长这样：
// 典型的单线程流水线——别这样写while(capture.read(frame)){