一、工业边缘 AI 部署背景与问题
随着智能制造升级,工业设备愈发复杂,设备故障多发。传统故障排查高度依赖资深工程师,故障知识分散;当设备抛出告警、异常现象时,很难快速输出标准化维修方案。
工业现场核心痛点:
- 很多工厂内网物理隔离,禁止接入公有云,云端大模型无法使用;
- 生产数据不希望外传,存在数据安全风险;
- 希望降低对专家人力依赖,缩短设备故障停机时长。
工业内网如何使用 DeepSeek 大模型?可以利用边缘设备 NPU 算力,部署量化轻量化本地大模型,实现离线推理,所有运算在本地硬件完成,数据不会流出设备。
DeepSeek 在 RK 系列芯片有两套主流部署方案:
| 部署方案 | 运行硬件 | 适用平台 | 优缺点 |
|---|---|---|---|
| RKLLM 量化部署 | NPU 硬件加速 | RK3576、RK3588 | 推理速度快,CPU 占用低;适合工业边缘设备 |
| Ollama 部署 | 仅 CPU 运算 | 通用 ARM/x86 处理器 | 无硬件 NPU 加速,资源消耗高 |
本文基于钡铼技术BL450 AI边缘计算机,通过 RKLLM(瑞芯微大模型运行时)完成 DeepSeek-R1 轻量化模型本地