Dify语音识别配置与语音合成上手指南-迪斯科星球

Dify语音识别配置与语音合成上手指南

【免费下载链接】difyBuild Agentic workflows, RAG pipelines, with rich AI model and tool support on one collaborative workspace. Deploy on cloud, VPC, or self-hosted, so teams move from prototype to production without rebuilding the stack.项目地址: https://gitcode.com/GitHub_Trending/di/dify

痛点切入

给 Dify 应用加语音识别能力，多数人都卡在同两处：应用的功能开关没打开，模型供应商没配对应的语音模型。电商客服想接语音咨询，教学平台想让知识库的答案能直接播出来，最后都堵在配置页。这篇讲 Dify 语音识别配置和文字转语音（TTS）怎么跑通，以及容易踩的坑。

它是什么

Dify 是智能体工作流开发平台，语音能力内建在应用配置里，不需要单独部署 ASR/TTS 服务。和自研方案的核心差异在于：识别和合成复用平台统一的模型供应商管理，一个工作区配一次 API Key，应用侧只负责开开关和选音色。

最小上手路径

拉代码并启动服务：执行git clone https://gitcode.com/GitHub_Trending/di/dify，进docker目录运行docker compose up -d，全栈组件按docker/docker-compose.yaml自动拉起。
设置 → 模型供应商 → 添加 OpenAI 或 Azure 的 API Key，确认模型列表里出现"语音识别"和"文字转语音"两类。
新建 Chatflow 应用 → 功能设置 → 打开"语音识别"，再启用 TTS 并选一个音色，右侧调试窗口直接发一条语音消息验证。

🔧 核心能力对照

两条链路能力不对等，配置前先对一下这张表：

维度	语音识别 STT	文字转语音 TTS
开关位置	应用功能设置	应用功能设置
可选参数	无	voice 音色
输入限制	30MB 以内	无
支持格式	mp3、wav 等	纯文本
默认模型	租户默认模型	租户默认模型

识别这条链路只关心格式和大小，合成多一个音色选择，两边都走租户默认模型。

🚀 落地场景

客服语音问答怎么配

场景→你要做什么：用户在聊天窗口直接说话，识别后检索知识库，答案以语音返回。

创建 Chatflow 应用，导入商品 FAQ 知识库
应用功能设置 → 打开"语音识别"
打开"文字转语音"并选音色
调试面板发语音消息，核对识别文本和语音回复

教学语音答疑怎么搭

场景→你要做什么：学员语音提问，工作流检索课件并语音作答。

工作流里加"知识检索"节点
接 LLM 节点，用检索内容生成回答
工作流功能设置 → 启用文字转语音并选音色
端到端验证：语音提问 → 识别 → 检索 → 语音回答

🐛 高频踩坑

症状：上传语音报错超过 30MB。原因：平台限制单文件 30MB，定义在api/services/audio_service.py。处理：先压缩再上传，长录音按段切分。

症状：识别结果乱码，或整段识别成别的语言。原因：默认识别模型不支持你录音的语言。处理：到模型供应商换成支持该语言的模型，重新调试。

症状：语音发出去有识别文本，但 AI 回复没有声音。原因：只开了语音识别，没开合成或没选音色。处理：功能设置里两项都打开并选音色，保存后重测。

症状：调试时提示供应商不支持语音能力。原因：工作区只配了 LLM 类模型，没有 STT/TTS 模型。处理：补一个带语音能力的提供商，或切换默认模型。

症状：上传报"不支持的音频格式"。原因：只收 mp3、m4a、wav、amr、mpga 这几类。处理：转成 wav 或 mp3 再传。

🔭 往深了走

流式分段上传：长录音按片段发送再拼接，降低单次等待和失败成本
多供应商互备：主语音模型不可用时切到备选供应商，客服场景不断线
音色与语言对齐：按用户语言挑音色和识别模型，避免中文问题配上英文播报

收尾

这篇覆盖了从启动服务到 STT/TTS 全链路配置的完整路径，坑都列在踩坑一节。下一步建议进应用的功能设置页把音色换一轮，对比两三个语音提供商的识别效果，选定后再发布。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

企业官网建设流程全解析