☰
47K Star 的本地 AI 语音工作室,告别 ElevenLabs
2026/9/27 16:20:10 网站建设 项目流程

一、项目背景及简介

你有没有遇到过这样的尴尬:想给视频配个旁白,发现 ElevenLabs 每月要花几十美元;想用语音输入,又担心隐私数据被第三方拿去做训练?更麻烦的是,语音克隆和语音识别这两个需求,被拆成了两个独立的产品,整合起来还要写一堆胶水代码。

Voicebox就是来解决这个问题的。它是一个开源的AI 语音工作室,把语音克隆、TTS 语音合成、听写转录、AI 语音助手全部整合到一个本地应用中。项目由 jamiepine 开发,托管在 GitHub 上,短短时间就收获了47,275 颗星,成为 2026 年最受关注的 AI 语音开源项目之一。

相比 ElevenLabs 和 WisprFlow 的云端付费方案,Voicebox 最大的亮点是完全本地运行——所有模型、语音数据、录音都不会离开你的电脑,隐私安全拉满。而且它同时覆盖了语音输入和输出两个环节,堪称语音 I/O 的完整闭环。

一句话总结:这是你用过的第一个"本地运行、功能完整、免费开源"的 AI 语音全套方案。


二、技术栈解析

Voicebox 的技术栈选型非常有意思。它没有用常见的 Electron 方案,而是选择了Tauri(Rust)构建桌面应用,这意味着更小的体积和更低的资源占用。

  • 桌面框架:Tauri(Rust),大幅提升性能和启动速度

  • 前端:React + TypeScript + Tailwind CSS,现代且高效

  • 后端:FastAPI(Python),负责推理服务的调度

  • TTS 引擎:内置 7 种引擎——Qwen3-TTS、Qwen CustomVoice、LuxTTS、Chatterbox、Chatterbox Turbo、TADA(HumeAI)、Kokoro

  • 语音识别:Whisper / Whisper Turbo(PyTorch 或 MLX 加速)

  • 本地 LLM:Qwen3(0.6B / 1.7B / 4B),用于语音个性化和文本润色

  • 推理后端:MLX(Apple Silicon)/ PyTorch(CUDA/ROCm/XPU/CPU)

这样的架构设计保证了跨平台兼容——macOS、Windows、Linux 全支持,GPU 从 NVIDIA 到 AMD 再到 Intel Arc 全覆盖。值得一提的是,Voicebox 内置了 7 种不同的 TTS 引擎,每种引擎有各自的优势,用户可以根据场景灵活切换。

不是"做一个大而全的引擎",而是"集齐 7 颗龙珠,召唤神龙"——这思路挺聪明的。


三、核心功能

Voicebox 的功能可以用三个词概括:克隆、听写、创作。

🎤 语音克隆与 TTS

  • 零样本克隆:仅需几秒钟音频就能克隆一个声音

  • 7 种 TTS 引擎自由切换,覆盖 23 种语言

  • 支持情感标签([laugh]、[sigh]、[gasp]),让合成语音更自然

  • 50+ 预设音色(Kokoro 引擎),开箱即用

  • 无限长度生成:自动分片 + 交叉淡入淡出,支持最长 50,000 字符

🎧 全局听写

  • 全局快捷键启动,在任何应用中按住说话,松手即粘贴

  • 内置 Whisper 语音识别,支持 Base / Small / Medium / Large / Turbo 五种模型

  • LLM 自动润色:去除"嗯""啊"等口头禅,修正语法

🎬 故事编辑器

  • 多轨时间线,支持多角色对话、播客、叙事

  • 拖拽编排,音频实时预览

🤖 AI 语音助手

  • 通过 MCP 协议,任何 AI 智能体(Claude Code、Cursor、Cline)都能调用 Voicebox 发声

  • 每句话都带有语音个性——你可以给每个 AI 智能体分配不同的声音

一个工具包揽了 ElevenLabs + WisprFlow + 自定义语音助手的全部功能,还跑在本地,这不香吗?


四、项目优势

Voicebox 相比竞品有几大不可替代的优势:

✅ 隐私安全

  • 所有模型、语音数据和录音均保存在本地,不经过任何第三方

  • 支持 Docker 部署,企业级隔离

✅ 多引擎架构

  • 7 种 TTS 引擎覆盖不同场景:轻量级(Kokoro 82M 模型)到高质量(Qwen3-TTS 1.7B)

  • 23 种语言支持,包括阿拉伯语、日语、印地语、斯瓦希里语等小众语言

✅ 完整的 I/O 闭环

  • 输入(听写转录)+ 输出(语音合成)+ 处理(AI 个性化)一体化

  • 不再是两个独立的产品,而是完整的语音工作流

✅ 性能优秀

  • Tauri 原生框架,非 Electron,启动快、内存少

  • GPU 全平台加速,Apple Silicon 上 MLX 加速可达 4-5 倍

⚠️ 不推荐场景

  • 如果需要云端协作、多人共享语音库,Voicebox 的本地优先模型可能不适合

  • Linux 目前没有预编译二进制包,需要从源码构建


五、安装使用

Voicebox 的安装非常简单,直接下载对应平台的安装包即可:

# macOS (Apple Silicon) curl -fsSL https://voicebox.sh/download/mac-arm -o Voicebox.dmg # macOS (Intel) curl -fsSL https://voicebox.sh/download/mac-intel -o Voicebox.dmg # Windows curl -fsSL https://voicebox.sh/download/windows -o Voicebox.msi # Docker 部署 docker compose up

安装后打开应用,点击Download Models下载需要的 TTS 引擎模型,之后就可以直接使用了。首次使用会有引导流程,帮你配置全局快捷键和权限。

六、代码示例

Voicebox 提供了完整的 REST API 和 MCP 协议支持,让你可以轻松把语音功能集成到自己的应用中:

import requests # 1. 语音合成:把文字变成语音 response = requests.post("http://127.0.0.1:17493/generate", json={ "text": "Hello World,这是 Voicebox 生成的语音", "profile_id": "my_voice_profile", "language": "en" }) # 2. AI 智能体语音输出:一句话让 AI 说话 response = requests.post("http://127.0.0.1:17493/speak", json={ "text": "部署完成,所有测试通过,可以合并了", "profile": "Morgan", "personality": True # 通过个性 LLM 重新润色再播报 }) # 3. 语音转文字:上传音频文件获取转录 response = requests.post("http://127.0.0.1:17493/transcribe", files={ "audio": open("recording.wav", "rb") }, data={"model": "whisper-turbo"}) # 4. 查看已有语音档案 response = requests.get("http://127.0.0.1:17493/profiles") profiles = response.json()

这段代码展示了 Voicebox 最常用的四个 API 接口。你可以用几行代码就把语音功能集成到自己的应用中,无论是做播客编辑器、语音助手还是游戏对话系统,都非常方便。


七、应用场景及案例说明

Voicebox 的应用场景非常广泛:

1. 🎙️ 播客与视频创作创作者可以用 Voicebox 克隆自己的声音,然后批量生成旁白,再也不用反复录制。支持多轨故事编辑器,非常适合制作多人对话类播客。

2. 💬 AI 语音助手给 Claude Code、Cursor 等 AI 开发工具配上声音,让它们在任务完成时直接用语音播报结果。你可以给每个 AI 分配不同的音色,一听就知道是谁在说话。

3. 🗣️ 语音辅助与无障碍对于暂时或永久性失声的人群,Voicebox 可以克隆他们原有的声音,通过打字或眼动追踪输入,让设备替他们说话。这是最触动人心的一种用法。

4. 🌍 语言学习与翻译支持 23 种语言,可以用于语言学习 App 的语音朗读、多语言内容创作,甚至跨语言播客录制。

5. 🎮 游戏角色配音游戏开发者可以用 Voicebox 快速生成角色对话,无需找配音演员,降低独立游戏开发成本。

八、总结

Voicebox 是一个"本地运行、功能完整、免费开源"的 AI 语音工作室,覆盖了语音克隆、TTS、听写转录和 AI 语音助手四大核心场景。它的多引擎架构、跨平台支持和隐私优先设计,让它在同类产品中脱颖而出。

如果你正在寻找一个替代 ElevenLabs 的开源方案,或者需要一个本地语音 I/O 工具,Voicebox 绝对值得一试。尤其是对隐私敏感的企业用户,本地运行意味着零数据泄露风险。

你平时用 AI 语音工具吗?是选云端方案还是本地方案?评论区聊聊你的看法。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询