MMSegmentation 完整教程:30 分钟跑通语义分割的推理、训练与评估
【免费下载链接】mmsegmentationOpenMMLab Semantic Segmentation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmsegmentation
MMSegmentation 是 OpenMMLab 出品的 PyTorch 语义分割工具包与基准测试平台,覆盖数据准备、模型训练、mIoU 评估三大环节,并提供 PSPNet、DeepLabV3、SegFormer 等开箱即用的预训练模型。这篇上手指南按"真实使用路径"带你走完全流程:装通环境 → 验证安装 → 跑推理 → 训练与评估 → 按需求挑模型 → 踩坑自救,全程约 30 分钟。
为什么把 MMSegmentation 放进你的工具箱
先算一笔账:从零搭语义分割,你要自己写数据管线、训练循环和评估指标,再对着论文图复现网络结构,一个模型至少耗掉一周。MMSegmentation 把这件事变成改配置文件的活,你省掉的是整个"基建":
- 统一的基准平台:众多分割算法跑在同一套代码、同一套训练协议下,性能对比直接且公平。
- 模块化设计:框架解耦为主干(encoder)、解码器、分割头等独立模块,换算法只需换模块,训练管线不用动。
- 即插即用的算法库:PSPNet、DeepLabV3、DeepLabV3+、SegFormer、Mask2Former 等均有现成配置与预训练权重。
- 高效的训练速度:与其他语义分割代码库相比更快或持平,省下的算力时间都是收益。
语义分割到底输出什么?两张图说清楚。输入就是一张普通照片:
模型输出像素级掩膜——每个像素归属一个类别:
完整数据流如下:图像先经 encoder 提特征,再由 decoder 与分割头产出像素级预测。正因为模块间边界清晰,项目才能像积木一样自由拼装:
想深入理解整体设计,读官方文档:docs/zh_cn/overview.md。
5 分钟装好 MMSegmentation:conda 环境、MIM 与两种安装方式
版本基线先对齐
Linux / Windows / macOS 均可运行,环境要求:
- Python 3.7+
- CUDA 10.2+(用 GPU 时)
- PyTorch 1.8+
建 conda 环境并装 PyTorch
conda create --name openmmlab python=3.8 -y conda activate openmmlab # GPU 平台 conda install pytorch torchvision -c pytorch # CPU 平台改用 cpuonly # conda install pytorch torchvision cpuonly -c pytorch用 MIM 一键搞定 MMEngine 与 MMCV
MMCV 带 C++/CUDA 扩展,手动对 PyTorch 版本很容易翻车。用 MIM 装,依赖自动解析:
pip install -U openmim mim install mmengine mim install "mmcv>=2.0.0"源码或 pip,装 MMSegmentation 的两条路
⚡ 要改代码、跑开发就选源码安装,可编辑模式让改动即时生效:
git clone -b main https://gitcode.com/GitHub_Trending/mm/mmsegmentation cd mmsegmentation pip install -v -e .只当依赖库用就选pip 安装,一行搞定:
pip install "mmsegmentation>=1.0.0"完整步骤与 Docker 方案见安装指南:docs/zh_cn/get_started.md。
2 分钟验证安装:让 PSPNet 推理生成第一张分割掩膜
✅ 验证不靠"import 不报错",而靠跑出一个真实结果。
第 1 步:用 MIM 拉取 PSPNet 的配置文件与权重(视网络耗时几分钟):
mim download mmsegmentation --config pspnet_r50-d8_4xb2-40k_cityscapes-512x1024 --dest .完成后当前目录会多两个文件:pspnet_r50-d8_4xb2-40k_cityscapes-512x1024.py和pspnet_r50-d8_512x1024_40k_cityscapes_20200605_003338-2966598c.pth。
第 2 步:对仓库自带的 Cityscapes 街景图跑推理,结果写入result.jpg:
python demo/image_demo.py demo/demo.png pspnet_r50-d8_4xb2-40k_cityscapes-512x1024.py \ pspnet_r50-d8_512x1024_40k_cityscapes_20200605_003338-2966598c.pth \ --device cuda:0 --out-file result.jpgresult.jpg里每张目标都盖上了彩色分割掩膜——生成即代表安装成功。输入图长这样:
命令行入口的实现很短,值得扫一眼:demo/image_demo.py。
用自己的数据推理:单张图像与视频两个场景
脱离 demo 脚本,Python API 只有三个主角:init_model建模、inference_model推理、show_result_pyplot可视化。
单张图像分割:
from mmseg.apis import inference_model, init_model, show_result_pyplot config_file = 'pspnet_r50-d8_4xb2-40k_cityscapes-512x1024.py' checkpoint_file = 'pspnet_r50-d8_512x1024_40k_cityscapes_20200605_003338-2966598c.pth' model = init_model(config_file, checkpoint_file, device='cuda:0') # 无卡改 device='cpu' img = 'demo/demo.png' result = inference_model(model, img) show_result_pyplot(model, img, result, show=True, out_file='result.jpg', opacity=0.5)换一张室内场景图,模型照样能给出桌面、椅子、墙体的逐像素类别:
视频逐帧分割:套一层循环即可,也可用命令行 demo/video_demo.py:
import mmcv from mmseg.apis import inference_model, init_model, show_result_pyplot model = init_model(config_file, checkpoint_file, device='cuda:0') video = mmcv.VideoReader('video.mp4') for frame in video: result = inference_model(model, frame) show_result_pyplot(model, frame, result, wait_time=1)API 细节与参数说明见推理源码:mmseg/apis/inference.py。
训练自己的语义分割模型:数据准备、训练命令、mIoU 评估三步走
📌 以 Cityscapes 为例,走一遍"数据 → 训练 → 评估"闭环。
第一步:Cityscapes 数据集准备
先从 Cityscapes 官网下载并注册获取数据,按如下目录结构放置:
data/cityscapes/ ├── leftImg8bit/ │ ├── train/ │ ├── val/ │ └── test/ └── gtFine/ ├── train/ ├── val/ └── test/再跑一次官方转换脚本,生成训练用的labelTrainIds.png:
python tools/dataset_converters/cityscapes.py data/cityscapes --nproc 8其他数据集的完整准备流程:docs/zh_cn/user_guides/2_dataset_prepare.md。
第二步:一条命令启动训练
单卡与多卡的差别只是换脚本,配置完全一致:
# 单 GPU 训练 python tools/train.py configs/pspnet/pspnet_r50-d8_4xb2-40k_cityscapes-512x1024.py # 8 卡分布式训练 bash tools/dist_train.sh configs/pspnet/pspnet_r50-d8_4xb2-40k_cityscapes-512x1024.py 8训练脚本支持--work-dir指定输出目录、--amp开混合精度、--resume断点续训。入口实现:tools/train.py;多卡脚本:tools/dist_train.sh。
第三步:评估 mIoU 收尾
# 单 GPU 评估 python tools/test.py configs/pspnet/pspnet_r50-d8_4xb2-40k_cityscapes-512x1024.py \ work_dirs/pspnet_r50-d8_4xb2-40k_cityscapes-512x1024/latest.pth --eval mIoU # 8 卡分布式评估 bash tools/dist_test.sh configs/pspnet/pspnet_r50-d8_4xb2-40k_cityscapes-512x1024.py \ work_dirs/pspnet_r50-d8_4xb2-40k_cityscapes-512x1024/latest.pth 8 --eval mIoU跑完终端会输出每个类别的 IoU 与平均 mIoU,这就是语义分割模型训练的"成绩单"。测试入口:tools/test.py;分布式脚本:tools/dist_test.sh。训练与测试的完整参数表:docs/zh_cn/user_guides/4_train_test.md。
语义分割模型选型:按场景挑算法的速查表
算法目录都在configs/下,按下表对号入座,比"哪个最新选哪个"更省心:
| 你的场景 | 推荐方向 | 代表算法 | 配置目录 |
|---|---|---|---|
| 需要精度与速度平衡、最经典的起点 | 经典 CNN 分割 | FCN、PSPNet | configs/fcn/、configs/pspnet/ |
| 关注小目标与多尺度细节 | 空洞卷积 + ASPP | DeepLabV3、DeepLabV3+ | configs/deeplabv3/、configs/deeplabv3plus/ |
| 端侧部署、实时推理优先 | 轻量级网络 | BiSeNetV2、STDC、CGNet | configs/bisenetv2/、configs/stdc/、configs/cgnet/ |
| 追精度上限、可接受显存开销 | Transformer 类 | SegFormer、SETR、Mask2Former | configs/segformer/、configs/setr/、configs/mask2former/ |
拿不准就先跑 PSPNet:配置齐全、文档覆盖最多,是社区里最常被拿来对比的基线。全部算法的精度/权重/下载信息见模型库:docs/zh_cn/model_zoo.md。
踩坑自救手册:安装、运行、数据集六类常见症状
按"症状 → 原因 → 解法"排查,绝大多数问题两分钟定位:
| 类别 | 症状 | 可能原因 | 解法 |
|---|---|---|---|
| 安装 | MMCV 安装失败 / 编译报错 | PyTorch 与 MMCV 版本不匹配 | 改用 MIM 安装自动解析依赖;或按 PyTorch 与 CUDA 版本手动指定 find-url |
| 安装 | 启动即报 CUDA 版本错误 | PyTorch 的 CUDA 版本与驱动不匹配 | 重装 PyTorch 时显式指定与系统匹配的 CUDA 版本 |
| 运行 | 推理明显偏慢 | 模型过大或输入分辨率过高 | 换更小模型、降低输入分辨率,或启用 FP16/AMP 推理 |
| 运行 | 训练 OOM(显存不足) | batch size 或输入尺寸过大 | 调小 batch、换小 backbone,或开 AMP 混合精度 |
| 数据集 | 加载数据时报路径错误 | 配置中data_root指向不对 | 核对data_root是否真的指向数据集所在目录 |
| 数据集 | 类别数不匹配 / 预测乱码 | num_classes与数据集类别不一致 | 让配置的num_classes、palette 与数据集严格对齐 |
更细的条目与社区已验证的答复:docs/zh_cn/notes/faq.md。
下一步:从"跑通"到"用熟"的四个资源
- 官方交互教程:demo/MMSegmentation_Tutorial.ipynb,边读边跑,覆盖安装到推理。
- 用户指南:docs/zh_cn/user_guides/,配置、数据、推理、训练、部署逐章展开。
- 进阶指南:docs/zh_cn/advanced_guides/,新增数据集、自定义模型与训练技巧都在这里。
- 社区项目:projects/,遥感、医学影像、NVIDIA Jetson 部署等方向的现成实践。
装通环境、跑通推理、训练出自己的 mIoU——到这里,MMSegmentation 的上手闭环已经完成。剩下的事,就是选一个离你业务最近的算法,把它改成你自己的配置。
【免费下载链接】mmsegmentationOpenMMLab Semantic Segmentation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmsegmentation
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考