上周在客户那边验收一套展厅改造项目,我绕着那台“聚辉触控全息仓数字人”转了好几圈。它立在大厅入口右侧,一米多高的深色柜体,正面像一块微微倾斜的玻璃,里面站着一个半身数字人。人还没走近,数字人就微笑着侧过身来,说了句“欢迎来到科技馆”,伸手往左一引,旁边的沙盘同步亮起蓝色光带。我伸手在玻璃前方的空域点了一下某个菜单,数字人立刻转向那个方向开始讲解。旁边一个上了年纪的参观者说了一句“这屏幕挺有意思”,实际上那不是屏幕——真正让这个展项“活”起来的,是五套技术在同一套柜体里协同工作。
这个项目吸引我的原因很简单:大多数展厅的互动屏已经让观众麻木了,触控一体机和拼接屏做得再好,本质上还是“一块屏幕”。而全息仓数字人把信息载体从“二维平面”变成了“空间中的一个形象”,数字人悬浮在柜内,能说话、能转身、能配合灯光和中控一起引导整个参观动线。这就是标题里说的“展厅交互新入口”——它既是信息入口、导览入口,也是整个展厅智能中控的人形化入口。
这篇内容,我就按这五大技术一条一条拆开讲:数字人怎么“活”起来、悬浮影像怎么实现、触摸交互怎么选型、语音链路怎么扛住现场噪音、最后怎么把全息仓和整个展厅联动成一套系统。中间会穿插我实际调试时踩过的坑,以及我后来验证过的处理办法。如果你正在做展厅设计、展项集成,或者准备上数字人设备,这篇应该可以让你少走不少弯路。
1. 全息仓数字人不是“投影加皮套”,而是一套五层联动的系统工程
很多甲方第一次见到全息仓数字人,第一反应是“不就是把视频投到一块特殊玻璃上嘛”。这种理解不能算错,但会把项目带偏。我在现场见过太多“看起来很炫但没人用”的展项,根本原因就是只做了显示层,没做交互层和联动层。聚辉触控这套方案之所以能成为展厅入口级的展项,是因为它把五个技术模块完整地叠在了一个柜体里。
1.1 从观众视角看,一次完整的交互闭环是什么样
先不讲技术参数,我们把一次真实的观展过程从头到尾过一遍。
观众从一个展区走向另一个展区,经过全息仓大约三米位置,柜体顶部的红外传感器检测到人体接近,屏幕下方的状态灯条从待机蓝变成呼吸白,数字人从站立姿态转过头来,目光跟随观众移动。等观众走到柜体前方一到两米范围,数字人主动抬手打招呼,发出第一句问候语——这一句不是循环播放的录音,而是根据时间、参观动线、甚至天气动态生成的。
观众注意到玻璃上有一排半透明的悬浮按钮,点击其中“智慧园区”的图标,数字人立刻转身面向左侧的园区沙盘,开始讲解核心功能区域。讲解过程中,观众如果想要追问,按下实体副屏上的语音键,说一句“光伏装机容量是多少”,数字人会在半秒内接过话头直接回答,回答时还会配合指向沙盘上的相应区域。讲解结束,观众离开感应区,数字人欠身致意,柜体恢复待机,同时把这一次互动的时长、点击项、高频问题写进日志,同步给展厅运营后台。
这个闭环里已经包含了显示、渲染、触控、语音、感知、中控六项能力,整理成系统模块就是下面这张表:
| 技术模块 | 承担的角色 | 观众可感知的效果 |
|---|---|---|
| 数字人资产与实时渲染 | 内容主体 | 形象真实、动作流畅、口型对得上 |
| 全息光学成像组件 | 显示载体 | 影像悬浮于柜体空间中,没有屏幕边框感 |
| 触控交互层 | 操作入口 | 点击菜单、滑动页面、选择展项 |
| 语音交互与AI对话 | 自然语言入口 | 能听懂提问,能开口回答 |
| 多模态感知与中控联动 | 系统协同 | 自动唤醒、跟随目光、联动灯光与沙盘 |
这五个模块单拎出来,市场上都能找到成品供应商,真正的技术门槛在集成——五层系统要在同一个柜体里互不干扰地工作。
1.2 “入口”到底是什么意思,和传统触控一体机差在哪
传统展厅触控一体机的模型是“人找信息”:观众走到屏幕前,通过菜单点击寻找内容,交互结束。全息仓数字人的模型是“信息找人”:人还没到,设备先感知到,数字人先开口,观众被声音和动态吸引过来,再通过触控和语音进行深层次互动。
这两种模型对应着完全不同的技术优先级。传统一体机只要保证屏幕亮、触摸灵敏就够了;全息仓则必须保证感知的触发距离、数字人的响应延迟、光学成像的观看角度、语音拾音的指向性,还有中控联动的同步时延。任何一个环节掉链子,观众体验到的就不再是“科技感”,而是“迟钝”或“失灵”。
我在验收时特别注意了一个细节:数字人在观众走近两米范围内时,视线会跟着观众的水平移动偏移。这个功能看着不起眼,但对“鲜活感”的提升非常明显。它来自感知层的毫米波雷达结合渲染层的视线追踪逻辑,不是靠摄像头做视觉跟踪,而是靠空间坐标换算。这也是这套方案在隐私方面处理得比较干净的地方,展厅不需要录观众的脸。
2. 让数字人“活”起来:建模、绑定到实时渲染的取舍
数字人是整个全息仓的视觉中心。观众可以接受屏幕上的平面内容不够精致,但很难接受一个悬浮在空中的数字人是僵硬的。这一节讲核心技术里的第一块:数字人的制作与实时渲染。
2.1 形象风格怎么定:写实、半写实还是偏设计感
数字人形象直接决定展项的调性,也决定制作成本。我经手过的展厅项目里,超写实数字人只适合高端政企接待场景,而且对渲染硬件要求极高,一旦灯光和材质没调好,很容易掉进恐怖谷。普通科技馆、产业园展厅、企业品牌馆,我更推荐半写实或者带有设计感的数字人形象,比如偏“虚拟主持人”风格。
聚辉触控这套默认形象走的是半写实路线:面部细节接近真人,但皮肤质感和发型做了轻度风格化,不会因为现场环境光变化而显得诡异。这个定位很聪明,因为全息仓内的光学成像会损失一部分对比度和清晰度,过分追求皮肤毛孔级细节,观众实际看到的反而可能是一张泛白的脸。
如果项目需要定制形象,制作流程大致是:角色概念设计——三维建模(Maya/Blender/3ds Max)——PBR贴图——骨骼绑定——表情绑定(Blendshape)——动作资源制作——导入实时引擎(Unreal Engine或Unity)。
2.2 口型驱动和动作衔接,是“活”的关键
数字人开口说话时,口型对不对得上,是所有观众都会下意识注意到的点。静态建模再好,口型延迟100毫秒,观众立刻觉得“假”。目前行业主流做法有两类:
一类是语音驱动口型,也就是在TTS返回音频的同时,拿到每个音素的时长信息,把音素映射到口型Blendshape权重上。Unreal引擎里的MetaHuman Audio2Face、NVIDIA的Audio2Face SDK都能做实时的音频驱动口型。另一类是预渲染动画配录音,适合固定时长的欢迎语,但对动态对话几乎不可用,因为你不知道观众下一句会问什么。
我在实际项目里综合两种方式:固定欢迎语和开场白用预渲染高精度动画保证品质,自由问答环节切到实时推理模式,用TTS的木栓音素直接驱动口型,再叠加一套待机动作层,让数字人在说话间隙有轻微的呼吸起伏和视线偏移,避免“打字机式”的僵硬输出。
2.3 渲染硬件怎么配,才不会现场翻车
全息仓内部空间紧凑,不可能装一台塔式服务器。我们调试时用的方案是柜体底部集成一台小型化工作站,CPU用Intel i7或i9级别,显卡至少要到RTX 4060以上,内存32G起步。实时渲染分辨率通常在2K到4K之间,输出经过光学成像之后,清晰度会有一定折损,所以渲染分辨率不能省。
这里有个容易忽略的点:柜体是半封闭的,显卡满载时散热是大问题。我见过一台设备因为风道设计不合理,运行二十分钟后显卡降频,数字人帧率从60掉到30,观众看到的就是“卡顿的虚拟人”。如果厂家没有做过满载热测试,建议验收时连续跑一小时高负载对话场景,看帧率是否稳定。
3. 真正的难点在于让人看见“悬浮”:全息光学方案怎么选
全息仓和普通触摸一体机最大的视觉差异,就是影像“悬浮”在空间里。这里面没有任何魔法,本质上是光学成像方案的选择和调试。想做这个项目的朋友,这一节建议重点看。
3.1 佩珀尔幻象原理:一块斜玻璃解决的事
大部分全息仓采用的是经典佩珀尔幻象结构:柜体内部放置一块与水平面呈45度角的高透光学镀膜玻璃,显示源(通常是高亮度屏或投影)把数字人画面投射到玻璃上,玻璃再把画面反射到观众视线方向。因为玻璃是透明的,观众透过它看到的是柜体后壁的深色背景,而反射的画面叠加在背景上,就形成了“立体悬浮在柜内”的错觉。
结构上通常有两个变体。一种是“正放式”:显示屏朝上,画面被45度玻璃反射,向斜前方成像,适合需要数字人站在柜体后部的场景。另一种是“倒置式”:显示源放在上方,向下投射到45度玻璃再反射出来,适合把数字人布置在柜体前部,视觉上更靠近观众,互动感更强。聚辉触控用的是后一种,数字人看起来离观众更近,伸手去点触控按钮时,影像和手指之间的空间关系更自然。
3.2 不同光学方案的优缺点对比
| 方案 | 悬浮感 | 亮度表现 | 环境光抗性 | 成本 | 运维难度 |
|---|---|---|---|---|---|
| 45度光学镀膜玻璃+高亮屏 | 强 | 较好 | 中 | 中 | 低 |
| 全息膜贴在钢化玻璃上+背投 | 中 | 较弱 | 低 | 低 | 中 |
| 透明OLED屏幕 | 中(有屏体) | 强 | 强 | 高 | 低 |
| 雾面投影膜+投影机 | 中 | 弱 | 弱 | 低 | 高(需遮光) |
从用户长期运营角度看,45度镀膜玻璃加高亮屏是性价比最稳的选择,也是聚辉触控默认方案。它不需要像投影膜那样维护灯泡,也不像透明OLED那样有屏幕边框穿帮的问题。缺点是对安装角度要求高,玻璃一旦装歪,画面重影和梯形畸变就会冒出来。
3.3 环境光一强,“悬浮”就变“鬼影”
这是全息类展项最常见的死法。光学成像本质是反射,环境光越强,反射画面的对比度越低,观众看到的就是一层淡淡的半透明人影,也就是俗称的“鬼影”。现场如果正对落地窗或者展厅顶灯直射,效果会非常惨。
处理办法有几个层面:首先是结构上,把柜体放在展厅动线中较暗的区域,或者在柜体前方加一圈微遮光沿;其次是显示源亮度,实测下来屏幕峰值亮度在800尼特以上才能勉强压住常规展厅400勒克斯左右的照度;最后是光学玻璃本身,采用带抗环境光镀膜的版本,并配合柜内表面的吸光植绒处理。聚辉触控在现场调试时,专门让灯光团队把柜体正上方的一组射灯调暗了两个档位,整个悬浮感立刻提升一个档次。
这个细节如果没有人提醒,等设备到场才发现,往往已经晚了。所以我在做展厅平面方案时,会提前把全息仓的位置和灯光设计绑在一起出图,而不是让展项去迁就灯位。
4. 触控不止是“摸屏幕”:红外、电容与浮空触控的展厅实测
这块容易产生误区。全息仓里的数字人是悬浮影像,不可能像普通触摸屏一样在画面上直接点击,所以触控交互层是独立于光学成像之外的一套系统。选择哪种触控方案,直接决定观众愿不愿意上手操作。
4.1 三种常见的触控形态
第一种是全息玻璃前面贴合电容触摸膜。就是在柜体正面那块玻璃上贴一层透明电容膜,观众手指碰到玻璃时触发点击。这是最稳妥的方案,灵敏度高,和传统手机触控体验接近,缺点是观众需要实打实地“摸”玻璃,玻璃上容易留下指纹。
第二种是红外触摸框。玻璃外围装一圈红外发射管和接收管,手指靠近玻璃表面时遮挡红外线触发。优点是不用贴膜、戴手套也能操作,缺点是边框会有一圈物理突起,在全息仓这种讲求科技感的设计里会显得突兀。
第三种是浮空触控,也叫隔空触控。在柜体前方空间里构建一层红外光栅,手指进入光栅区域不接触任何物理表面就能触发点击。这是视觉上最科幻的方案,也是现场最容易翻车的方案。我在一个科技展厅里测试过,浮空按钮的确认反馈很弱,观众手指悬停时容易晃动,误触率明显高于实体触控,点按精准度也很难保证。
4.2 我的选型结论:把操作留给实体,把沉浸留给全息
聚辉触控这套全息仓采用了组合式交互:观众和数字人对话、浏览菜单时,用下方的实体触控副屏完成操作;全息玻璃前方则保留了一个浮空确认按钮,用于触发“开始讲解”这类高光动作。这样设计的好处是,高频的菜单浏览用可靠触控,低频的启动动作用浮空交互制造仪式感,两者各取所长。
如果你正在设计类似设备,我的建议是不要为了“炫酷”把所有操作都做成隔空点击。观众在一个展品前停留的时间平均只有几十秒,如果连点击一个按钮都要反复瞄准,他很可能直接放弃操作,展项就成了“只可远观”的摆设。实体触控屏加上合理的UI尺寸(按钮不小于40×40像素),才是保证实际使用率的底线。
4.3 触控灵敏度调参的几个实测经验
触控层的调试不是装上就能用,有几个参数必须现场压测:
- 点击响应延迟控制在80毫秒以内,超过这个值观众会感觉“迟钝”。
- 长按抖动抑制阈值要调到合适区间,尤其在玻璃表面,手指按下时轻微滑动会造成误触,需要加入按住确认逻辑。
- 高温环境下的触控漂移要提前测。红外触摸框在强光照射下偶发误触发,需要配合环境光传感器动态调整红外阈值。
这些参数在出厂时通常给的是通用值,到了现场必须根据柜体摆放位置、光线条件和观众人群(儿童还是成人为主)重新调一遍。我在验收时专门带了一组不同年龄的体验者做盲测,让人分别点击最小按钮十次,统计误触率,低于百分之五才算过关。
5. 数字人的“脑子”和“嘴”:语音交互链路如何扛住展厅噪音
观众对着一个悬浮数字人说话,这本身就是交互设计里最有情感张力的一环。但语音交互模块,往往也是全息仓里集成难度最高的一环。因为展厅不是安静的办公室,这里有背景音乐、其他展项的声音、观众的嘈杂人声,还有全息仓自己的散热风扇声。
5.1 完整语音链路:从拾音到数字人开口的三秒规则
一套实用的语音链路包括:麦克风阵列拾音——回声消除与降噪——语音识别(ASR)——语义理解(NLU/大模型)——业务知识库检索——语音合成(TTS)——口型驱动——数字人动作反馈。
其中任何一个环节掉链子,观众能直接感知到的就是“数字人反应慢”或者“答非所问”。我在现场定了一个目标:从观众说完一句话到数字人开始开口回答,间隔不超过1.5秒,完整内容输出不超过3秒内开始。要做到这个水平,ASR必须用流式识别,TTS必须用首包低延迟方案,数字人端还要预置过渡动作——比如点头、眼神回应,让等待时间看起来是“思考”,而不是“卡住”。
5.2 展厅环境下的拾音方案:别指望远场麦克风解决一切
全息仓的交互距离通常是一到两米,观众是站着说话的,不能用近讲耳麦。设备内一般集成四麦或六麦环形阵列,带波束成形能力。波束成形听起来很高级,实际作用就是让麦克风“偏向”观众站立的方向,同时抑制侧后方和顶部的环境噪声。
但波束成型救不了所有问题,尤其是数字人自己开口说话时,声音会被麦克风再次拾进去,形成回声和自激。所以语音链路里必须有高规格的AEC(回声消除)模块。我遇到过一台设备,数字人说到一半突然自己重复了一遍刚才的话,就是因为AEC参数在特定音量下失效。后来把TTS输出通道和麦克风输入通道做了硬件级隔离,才算彻底解决。
5.3 知识库与大模型的取舍
数字人不是每个问题都能回答的,它的知识边界必须可控。稳妥的做法是:把展厅相关的讲解内容预先结构化成FAQ和结构化知识库,观众提问先走检索式问答(RAG),把检索结果交给大模型组织语言,再让TTS播报。
这样设计的好处是,数字人不会在公开场合说出不受控的内容。知识库的更新也要做成运营后台可配置,而不是每次找开发改代码。我见过很多项目,讲解词想改一句,都得发需求单等技术排期,运营体验非常差。好的做法是运营后台支持在线编辑问答对、批量导入Excel、一键发布,数字人十分钟内同步使用新内容。
6. 五感之外的联动:多模态感知与中控系统如何串起整个展厅
一个只会在柜体里说话的数字人,还称不上“展厅交互入口”。真正让它变成入口的,是和灯光、沙盘、屏幕、音响甚至闸机联动起来。这意味着全息仓不只是一台展项,它还兼任展厅中控的一个终端节点。
6.1 多模态感知:谁来唤醒数字人,谁来判断观众情绪
全息仓的唤醒逻辑不能只靠一个传感器,组合起来更可靠。我在项目里见到的主流配置是:柜体顶部毫米波雷达做人员存在检测(覆盖三到五米范围),正面玻璃下方的红外对射做近场触发(一到两米内),再加上前端的触控副屏按钮做主动唤醒。
这三层构成了一个状态机:无人状态-接近状态-接待状态-讲解状态-休眠状态。状态机的好处是能避免多人同时在场景中的混乱。比如一个观众正在问问题,旁边一个人走到感应区,数字人不会被强行打断切换到另一套欢迎语,而是要等当前交互逻辑运行完。
联动方面还可以做人流分析。毫米波雷达的数据积累一段时间后,可以给运营方提供参观热点时段、平均停留时长的统计,这些数据对展项内容迭代很有用。
6.2 中控联动:灯光、沙盘、投影一起“听”数字人的话
全息仓和中控系统的对接,最常见的是HTTP/TCP/Modbus三种方式。全息仓内部跑一块边缘网关,负责把数字人的讲解状态转换成中控指令。比如数字人讲到“智慧园区”时,网关向中控系统发送一条指令,中控系统再驱动沙盘灯光亮起、园区模型区域的LED点亮、对应宣传片在侧屏同步播放。
我整理了一个简化的指令逻辑,联调时可以照这个思路做:
- 讲解开始:发送
status=speaking&topic=smart_park - 讲解切换章节:发送
topic=solar_energy&highlight=south_area - 讲解结束:发送
status=end
中控系统拿到这些字段之后,按照预先配置好的场景联动规则执行。这套逻辑不难,难的是延时。我在现场测量过,从数字人说出特定词到沙盘灯光亮起,中间延时必须控制在300毫秒以内,否则观众会明显感觉到“声画不同步”。解决办法是中控网关和全息仓之间走局域网有线连接,不要走Wi-Fi,同时把联动指令做成预解析而不是实时通过大模型生成。
6.3 断网也要能跑,是展厅设备的底线
很多全息仓项目把大模型对话部署在云端,一断网数字人就“哑了”。但展厅运营最怕的就是设备宕机,尤其在中大型展会期间。聚辉触控这类的成熟方案会把基础讲解和常用问答做本地化部署,云端大模型只作为增强选项。我在验收时专门要求拔掉外网测试基础讲解、触控、中控联动、固定问答是否全部正常。全部离线可用,才允许签字交付。
这里有一条经验:展项设备宁可功能少一点,也要保证稳定性。观众不会因为你功能少而失望,但一定会因为设备“转圈圈”而失望。
7. 联调阶段最容易翻车的五个细节,以及我的处理办法
五大技术单独看都有成熟方案,但把它们装进同一个柜体,联调才是真正的战场。我总结了项目现场最常出现的五类问题,全部是自己踩过或眼见别人踩过的坑。
7.1 光路与触控的对位精度
光学玻璃和触控层是两个独立的物理层,装配时如果没有锁定相对位置,观众点击屏幕上的按钮,实际触控坐标和显示位置会偏移。尤其是采用浮空触控时,光栅平面和影像焦平面一旦错位,手指“到了”但按钮没触发。
处理办法:设备出厂前必须做一次九点校准,把触控坐标系和渲染坐标系统一到同一个原点。现场安装后还要再做一次校准。验收时要重点测试屏幕四角和边缘的点击准确度。
7.2 柜体散热,影响的是渲染性能
前面提过,显卡降频会导致画面卡顿。更深一层的问题是,光学玻璃区域对温度很敏感,柜内温度过高会导致玻璃轻微形变,画面出现肉眼可见的扭曲。所以全息仓的散热设计不能只考虑主板和显卡,还要考虑光路空间内的空气流动。建议在柜体顶部增加静音风扇,保持对内正压,同时防止灰尘进入光路。
7.3 声音回授和啸叫,最容易被忽略
数字人的声音从柜体扬声器出来,被麦克风阵列重新拾取,如果AEC没调好,轻则数字人说话有“电音感”,重则形成啸叫,展项直接变成噪声源。处理关键:一是扬声器朝向和麦克风朝向在结构上错开,二是严格设置回声消除参考信号,三是在交互软件层面设置“数字人说话时降低拾音灵敏度”的优先级。
7.4 多人同时操作的并发问题
全息仓不像手机是单用户设备,它天然面对多人围观场景。多个观众同时点击、同时说话,系统要有明确的仲裁逻辑。我的做法是设定“当前交互者”概念,第一个触控或语音唤醒的人获得当前控制权,其他人输入进入待定状态;数字人每轮讲解结束后释放控制权。这块逻辑看起来简单,但如果没做,现场会出现两个观众各点各的,数字人左右为难、来回切换的滑稽场面。
7.5 内容运营跟不上,是“烂尾”的起点
技术联调完成只是开始,更大的坑在运营。很多展项交付时光鲜亮丽,三个月后数字人还在讲旧版讲解词,互动数据没人看,内容更新流程不顺畅,设备逐渐沦为摆设。所以我在项目验收清单里加了一项:运营后台必须支持非技术人员自行更新讲解词、问答库和触控菜单,且现场演示一次改词上线流程。这一项过不了,我不签验收单。
写在最后,一句实在话
如果你正打算给展厅上全息仓数字人,我最大的建议是别把它当成一台“更炫的广告机”。它的价值在于和展厅动线、中控系统、内容运营长在一起,成为真正有人格化引导能力的交互入口。聚辉触控这套方案给我留下的印象是工程完成度比较高,尤其是联调细节考虑得比较周到,但设备终归是工具,最终好不好用,还要看展厅方愿不愿意投入精力维护它、更新它、让数字人和参观者真正“聊起来”。我自己做过很多展项,最深的体会是:观众不会为技术买单,只会为体验停留。