Insanely Fast Whisper模型选型:large-v3 与 distil-large-v2 转写速度、准确率完整对比
【免费下载链接】insanely-fast-whisper项目地址: https://gitcode.com/GitHub_Trending/in/insanely-fast-whisper
150 分钟音频不到 98 秒转完,这是 Insanely Fast Whisper 这个基于 Whisper 的本地语音转写工具在 A100 上用 large-v3 跑出的官方数据。本文对比项目里最常用的两个模型 large-v3 与 distil-large-v2,直接给结论。
结论先行
如果你显存充足、追求准确率上限,就选 large-v3;如果要批量转写大量音频、在意吞吐量,用 distil-large-v2。开启 Flash Attention 2 之后,两者转写耗时差距很小(1 分 18 秒对 1 分 38 秒),真正的差别在体积与低音质场景下的稳健度。
| 维度 | large-v3 | distil-large-v2 |
|---|---|---|
| 模型体积 | 约 3.09G(官方 notebook 下载记录) | 蒸馏版本,更小,具体以官方数据为准 |
| 转写速度(A100,150 分钟音频,FA2) | 约 1 分 38 秒 | 约 1 分 18 秒 |
| 准确率 | 更高,适合低音质与复杂内容 | 略低,清晰音频够用 |
| 更适合 | 精度敏感的归档、转写任务 | 大批量处理、吞吐优先 |
数据来源:README.md 中的官方基准表。
按场景选型
- 离线归档、精度敏感转写(法律文档、学术录音):选 large-v3。参数更多,准确率上限更高,更适合低音质或混语音频。
- 批量处理大量音频(会议录音库、播客库):选 distil-large-v2。参数更少、单条耗时更短,适合高吞吐场景。
- Mac 或低显存机器:选 distil-large-v2,并配
--batch-size 4。内存占用更低,更适合 mps 设备。
硬指标拆解
官方 A100-80GB 基准,统一转写 150 分钟音频:
| 模型与配置 | 转写耗时 |
|---|---|
| large-v3(fp32) | 约 31 分 1 秒 |
| large-v3(fp16 + batching 24) | 约 5 分 2 秒 |
| large-v3(fp16 + batching 24 + Flash Attention 2) | 约 1 分 38 秒 |
| distil-large-v2(fp16 + batching 24 + Flash Attention 2) | 约 1 分 18 秒 |
| large-v2(Faster Whisper,8-bit) | 约 8 分 15 秒 |
两个关键点:一是 large-v3 权重约 3.09G,下载记录见 insanely_fast_whisper_colab.ipynb;二是 FA2 决定速度量级,不启用它 large-v3 要 5 分 2 秒,能开就开。
三条命令跑通
pipx install insanely-fast-whisper# large-v3 是默认模型,加 --flash True 启用 FA2 insanely-fast-whisper --file-name ted_60.wav --flash True# 指定 distil-large-v2 insanely-fast-whisper --model-name distil-whisper/large-v2 --file-name ted_60.wavmacOS 上再补--device-id mps。全部参数的默认值可以看 src/insanely_fast_whisper/cli.py。
容易踩的坑
⚠️下载体积:首次运行会拉取约 3.09G 权重,磁盘先留好余量。
- FA2 要单独装:默认安装不带 flash-attn,先跑
pipx runpip insanely-fast-whisper install flash-attn --no-build-isolation,否则--flash True不生效。 - Mac 上 OOM:默认 batch 24 容易爆显存,改成
--device-id mps --batch-size 4,占用约 12GB 显存。
把这份清单带走:
- 显存够、精度优先:large-v3 +
--flash True - 大批量、吞吐优先或 Mac:
--model-name distil-whisper/large-v2 - 跑之前确认磁盘余量(约 3.09G)和 flash-attn 装好了
【免费下载链接】insanely-fast-whisper项目地址: https://gitcode.com/GitHub_Trending/in/insanely-fast-whisper
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考