企业官网建设流程全解析

10-具身智能陪伴机器人的路线图-从桌面玩偶到家庭成员

开篇那句项目定位再说一遍：把 AI Agent 装进物理实体的具身智能陪伴机器人。这句话里藏着一条成长线——今天它可能是你桌上一个会聊天的桌面玩偶，未来它该是家里真正的一员：知道你身体怎样、主动扶你一把、在你难过时递上恰到好处的一句话。

AI 伙伴（AI-Partner）官网把路线图画成四阶段时间轴，本篇不只复述，还把每阶段的目标、技术挑战、学习路径拆开，给想入行或想二开的人指条路。下文每阶段都附了"最小可跑验证"和"常见坑"，方便你边读边动手，而不是听完一圈还是不会跑。

阶段一 ──→ 阶段二 ──→ 阶段三 ──→ 阶段四 核心对话 健康与安全 具身硬件 多模态主动 Agent 守护 一体化 陪伴 (已完成) (开发中) (规划中) (展望)

一、阶段一：核心对话 Agent（已完成）

目标：一个用户过来，能聊天、能记记忆、能设提醒、能记录情绪与健康。这是"灵魂先就位"。

已实现：CompanionAssistant 单方法chat；短期窗口 12 + 长期记忆 MySQL；6 工具 13 方法；人设动态注入；统一 API 与 8 张表。

技术挑战（当时已啃下的）：

• 让大模型"会自己调工具"——Tool Calling 的 schema 生成与参数回填。
• 多用户隔离——@MemoryId / @ToolMemoryId 把每个用户圈在自己的记忆与数据里。
• 人设一致性——固定性格 + 个性化记忆的拼装。

学习路径建议：

1. Java 基础扎实（JDK 17 的 record/注解/Lambda）。
2. Spring Boot 3 入门：依赖、REST、JPA、定时任务。
3. LangChain4j 概念：ChatLanguageModel / AiServices / Tool / ChatMemory。
4. 动手：照着把"一个会记笔记的聊天机器人"跑起来，先不管硬件。

这是门槛最低、收获最稳的一段，建议所有人从这里进。

本阶段最小可跑验证（MVP）：本地起 MySQL + 后端，先POST /api/users建个用户，再POST /api/chat让它"记住你爱喝绿茶"，然后换一轮新对话问"我平时喝什么"——看长期记忆有没有被注入回复。能跑通，阶段一的骨架你就真懂了，而不是只看懂。

常见坑：没配LLM_API_KEY时启动不报错、对话才 401，这是设计上的友好降级，先去配 key；短期记忆窗口只有 12 条，聊太远的事它会"忘"，真正跨会话靠的是长期记忆落库，两者别混。

二、阶段二：健康与安全守护（开发中）

目标：从"陪你聊"升级到"护你安"。跌倒检测、健康阈值告警、紧急触达，让机器人对老人和独居者真正有用。

当前进度：视觉跌倒告警链路已通（vision 上行 → Alert(fall, critical)）；健康阈值判定已通（心率/血压异常建工单）。但如前篇所述，告警只落库不触达人、健康异常被错归为设备故障、紧急呼叫无入口——这些都还在路上。

技术挑战：

• 告警可靠性：从"写库"到"人收到"。要补短信/推送/紧急联系人、重试与升级（escalation）。
• 误报成本控制：跌倒误报一次家属白跑，漏报一次出人命，阈值与多帧确认是硬功夫。
• 设备在线真实判定：靠心跳超时而非仅靠上报，否则"以为在线其实早断了"。
• 合规：健康数据授权、医疗免责、隐私最小化，这是产品能不能合法上线的前提。

学习路径建议：

1. MQTT 深入：QoS、遗嘱消息（LWT）、ACL、TLS。
2. 规则引擎与定时调度：cron 重复提醒、补偿重试。
3. 计算机视觉入门：YOLO 目标检测、姿态关键点、规则法跌倒判定。
4. 合规意识：个人信息保护法基础、医疗器械软件边界（知道"提醒"和"诊断"的分界）。

面向老人/儿童的产品，这一段不是"锦上添花"，是"责任所在"。任何真实部署都必须把告警触达和授权合规补齐，否则宁可别上。

本阶段最小可跑验证（MVP）：起视觉服务，调POST /api/vision/fall传一张摔倒姿态图，看是否建了Alert(fall, critical)；再POST /api/health传心率 145，看是否建了异常工单。两个告警都能落库，阶段二的数据闭环就通了。

常见坑：告警目前只落库不通知，demo 跑着没感觉、上线就出事——这是最坏的一种"看起来能用"；健康异常被归到TYPE_DEVICE_FAULT，做统计时得自己再区分；cron 重复提醒当前不触发，别指望"每天21点"这类能自动响。

三、阶段三：具身硬件一体化（规划中）

目标：让"灵魂"真正住进"身体"。摄像头看见你、舵机挥手、屏幕做表情、喇叭出声、麦克风听你说话——软硬一体，不再是后端和硬件各跑各的。

当前进度：RK3566 端侧有 MQTT 客户端、摄像头抽帧推理、RKNN 量化上 NPU（6 TOPS，yolo11n 25~40 FPS）；但端侧speak/gesture还是print占位、断线无真重连、电量硬编码、关键点解析有风险——硬件执行层还没真闭环。

技术挑战：

• 端侧推理落地：模型量化精度损失、NPU 版本匹配、多路摄像头进程隔离。
• 动作执行：舵机驱动（挥手/点头）、屏幕表情、TTS 真出声——硬件接口与控制协议。
• 端云协同：哪些在端（实时、隐私）哪些在云（重模型、记忆），边界设计。
• 稳定性：断电恢复、网络抖动、OTA 升级。

学习路径建议：

1. 嵌入式 Linux：RK3566/树莓派一类开发板，Debian 基础。
2. Python 硬件编程：paho-mqtt、opencv、GPIO/舵机驱动。
3. 模型量化：rknn-toolkit2、INT8 校准集、精度-速度权衡。
4. 实时系统思维：帧率预算、冷却去抖、故障兜底。

这一段门槛明显抬高，建议先在前两段把"云"和"视觉"吃透，再下场碰板子。软硬联调的坑，比纯软件深一个量级。

本阶段最小可跑验证（MVP）：RK3566 上跑mqtt_client.py报状态，看后端日志有没有收到device/RK001/status；再跑camera_loop.py，模拟一次跌倒看vision/RK001/alert有没有上行。端云主题对齐、消息跑通，阶段三就成功了最关键的一半。

常见坑：paho 1.x 的mqtt.Client(client_id=...)构造在 2.x 环境会直接TypeError，注意客户端版本；端侧上报的battery=96、firmwareVersion="1.0.0"是硬编码，别当真数据用；关键点切片布局必须和模型实际输出[1,56,8400]对齐，否则跌倒判定会错位——这俩坑在硬件里最隐蔽。

四、阶段四：多模态主动陪伴（展望）

目标：从"你问它答"到"它主动关心你"。融合语音、视觉、文本、情绪，在你低落时主动来聊，在你久未活动时温柔提醒，像一个真家庭成员那样有存在感。

技术挑战（最难的一段）：

• 主动触发：什么信号（久无活动/情绪连续低落/到点未吃药）该主动介入，频率怎么控——太烦是骚扰，太疏是冷漠。
• 多模态融合：ASR 听清、TTS 说顺、视觉看懂、文本记牢，四流合一且低延迟。
• 情感计算：从语气、表情、用词推断情绪，而非只靠显式"我不开心"。
• 个性化演进：陪伴越久越懂你，画像与记忆持续沉淀。
• 安全与边界：主动介入的分寸、紧急情形的正确升级路径。

学习路径建议：

1. 语音全链路：ASR（paraformer 一类）+ TTS（cosyvoice 一类）+ 流式对话。
2. 多模态模型：视觉-语言联合、情绪识别。
3. 主动 Agent 设计：事件驱动调度、用户建模、干预策略。
4. 产品与伦理：陪伴机器人的边界设计、依赖风险（尤其对儿童/独居老人）。

这一段是"展望"不是因为不想做，是因为它站在前三段肩膀上。没有可靠的对话、守护、硬件，主动陪伴就是空中楼阁。

本阶段最小可跑验证（MVP）：先把 ASR/TTS 从占位换成真实现（qwen 路径），让"说话→理解→出声"闭环；再基于阶段二的触发信号，做一个最简单的主动介入：用户超过 24 小时无对话且无健康上报，主动发一句问候。能让它"主动开口"，你就摸到阶段四的门了。

常见坑：主动频率最难调，太勤是骚扰、太疏是摆设，建议做成可配置而非写死；情感误判成本不低，别把"语气平淡"直接当"抑郁"去升级；面向儿童别设计过度依赖的互动，陪伴不是替代真实关系。

跨阶段一句话顺序：先让它能聊（一），再让它能护（二），然后让它有身体（三），最后才谈有灵性（四）。跳过任何一段去追"家庭成员"的体验，都会得到一个四面漏风的半成品。

阶段之外的共同地基

四阶段讲的是"功能长高"，但有个东西不管走到哪阶段都得垫在脚下：工程基本功。

• 可观测性：actuator 的 health/info 只是起点，真上线要日志分级、告警自身也可监控（别告警系统自己挂了没人知道）。守护类产品最怕"以为在守护，其实早停了"。
• 测试：占位项（ASR/TTS/端侧执行）最该先补单测，避免"换真实现时把接口契约改崩"。视觉关键点切片那种隐藏坑，没单测根本发现不了。
• 文档即产物：AI 伙伴（AI-Partner）的 deployment / development / promotion 三件套已经是好榜样——能让人照着跑起来的文档，价值不亚于代码本身。
• 优雅降级：每个阶段的新能力都要先想"关掉会怎样"。这也是为什么 MQTT 默认 false、TTS 有 mock——任何高级能力都该能关掉也不崩主流程，而不是一挂全挂。

这四点是"玩偶"和"家庭成员"在工程质量上的真正分野：功能可以一步一步长，地基松了，长越高塌越快。

五、给不同起点的你一条路线

纯 Java 后端 ──→ 阶段一（Agent+记忆+API） ──→ 阶段二（MQTT+健康+合规） 纯算法/CV ──→ 视觉服务+跌倒规则 ──→ 阶段三（RKNN端侧） ──→ 阶段四 硬件爱好者 ──→ 阶段三（板子+MQTT） ──→ 阶段一/二（接云端灵魂） 产品/学生 ──→ 阶段一吃透骨架 ──→ 挑占位项当练手（TTS/ASR/重复提醒）

一句话：别一上来就想造"家庭成员"。先让它会聊（阶段一），再让它会护（阶段二），然后让它有身体（阶段三），最后才谈有灵性（阶段四）。每一步都有明确的工程交付和学习材料，AI 伙伴（AI-Partner）的开源骨架正好让你边读边做。

六、合规收尾提醒

涉及老人跌倒、儿童陪伴、健康数据的任何一阶段，上线前都必须守住三条：取得本人/监护人明确授权、健康信息只提醒不诊断、端侧尽量只传结构化结果保护隐私。技术能让你跑多快，合规决定你能跑多远。

七、小结

从桌面玩偶到家庭成员，不是一句口号，是四段可拆解、可学习、可交付的工程进阶。AI 伙伴（AI-Partner）现在站在阶段一尾部、阶段二中途，骨架已经能让人看清全貌。对读者来说，价值不在"它现在多完美"，而在"这条路怎么走、每一步学什么"已经被画清楚了——剩下的，是动手。