企业官网建设流程全解析

• 人工智能
• 大模型
• Embedding
• 本地部署
• 音频
• 音乐生成
• 媒体生成

ACE-Step-1.5-text-encoder-bf16 是 AI 音乐生成模型ACE-Step 1.5的文本编码器（Qwen3-Embedding-0.6B）MLX 转换权重包，以bf16格式发布，让 Apple Silicon（M 系列芯片）上的开发者用短短几行 Swift 代码，就能把 Caption+歌词变成一首 48kHz 立体声歌曲。

🎵 一分钟理解：这个"文本编码器"是干什么的

在 ACE-Step 1.5 的生成流水线中，文本编码器负责"听懂"你的创作意图。你只需提供两样东西：

• Caption（提示词）：一句话描述想要的风格，例如"indie rock, female vocals, 120 BPM"
• Lyrics（歌词）：按[Verse]/[Chorus]等结构组织的歌词

文本编码器会把这两段文字转成数值嵌入——即 caption 提示词的最后一层隐藏状态和歌词嵌入表，再交给后续的 DiT 扩散模型"听"懂你到底想生成什么样的歌，最终合成出 48kHz 立体声音频。

💡 为什么单独发一个仓库？官方发布的 checkpoint 是裸的Qwen3Model结构，mlx_lm.convert无法直接读取，因此它以 ACE-Step 的名义发布；若按其它布局转换，将无法加载进 Swift 包中。详见 README.md。

📦 仓库里有什么：文件清单一览

整个仓库就是一个"开箱即用"的 MLX 权重包，310 个张量与上游 checkpoint逐位相等（bit-equal），只做了布局转换：

⚙️ 关键参数速览：Qwen3-Embedding-0.6B 有多"轻"

从 config.json 可以看到这个文本编码器的核心规格，非常轻量：

• 🧠架构：Qwen3Model，28 层（config.json#L49）
• 🔢规模：0.6B 参数，hidden_size 1024，16 个注意力头 / 8 个 KV 头（config.json#L48-L50）
• 🎯精度：bfloat16（config.json#L8）——动态范围大，在 Apple Silicon 矩阵引擎上有硬件加速
• 📏上下文：最大 32768 位置，足以容纳长歌词（config.json#L45）
• 📌溯源：mlx_ace_step字段记录了上游权重与转换布局（config.json#L60-L66）

🚀 快速上手：5行Swift代码，把Caption+歌词变成歌曲

在 Apple Silicon 的 Mac 上，配合 MLX Swift 工具链，核心调用只有 5 行以内（示例来自 README.md#L46-L51）：

let engine = MLXServeEngine() let id = try await engine.register(ACEStepPackage.registration, configuration: ACEStepConfiguration(quant: .bf16)) try await engine.prepare(.music, package: id) let song = try await engine.run(MusicRequest(caption: "…", lyrics: "[Verse]\n…", durationSeconds: 120, seed: 7), package: id)

逐行拆解，其实很简单：

其中MusicRequest的关键参数：

• caption：音乐风格描述
• lyrics：带段落标签的歌词
• durationSeconds: 120：歌曲时长（秒）
• seed: 7：随机种子，固定种子可复现同一首歌

✨ 不止于此：这套流水线还能做什么

接入 MLXEngine 的music能力后，除了"文生歌"，还支持：

• 🎙️参考音频音色：给一段参考音频，让生成歌曲贴近该音色
• 🎨翻唱 / 重绘 / 延长：对已有音频片段做 cover、repaint 与 extend
• 📄LRC 时间戳：输出带歌词时间轴的 LRC 文件
• 🔁可复现性：官方以 fp32（关闭 TF32）的 oracle 做了对齐验证，确保转换无损

❓ 新手常见问题 FAQ

Q1：为什么叫 ACE-Step-1.5-text-encoder 而不是 Qwen3-Embedding？因为原始 checkpoint 是裸Qwen3Model结构，mlx_lm.convert读不了，所以以 ACE-Step 名义发布；换一种布局转换反而无法被 Swift 包加载（README.md#L21-L26）。

Q2：bf16 是什么？和 fp16 有什么区别？bf16（bfloat16）保留了 fp32 的 8 位指数，动态范围更大、数值更稳定；体积约为 fp32 的 1/4，且被 Apple Silicon 硬件原生加速，是本仓库的默认精度。

Q3：Windows / Linux 能用吗？不行。MLX 是 Apple 专为 Apple Silicon 设计的框架，本仓库仅适用于 Mac（M 系列芯片）。

Q4：这个仓库就能直接出歌吗？本仓库是整条流水线4 个（含 lite planner 为 5 个）权重来源之一——即文本编码器部分。Swift 包的ACEStepConfiguration会列出全部权重仓库，引擎自动下载物化，与 DiT、VAE 等组件合力生成歌曲。

✅ 许可证与致谢

• 权重转换包：MIT（LICENSE）
• 底层 Qwen3-Embedding-0.6B：Apache-2.0（Qwen），完整版权说明见 NOTICE
• 上游：ACE Studio + StepFun 的 ACE-Step 1.5

🎧 现在，打开你的 Mac，写下第一句 Caption，5 行 Swift 代码之后，一首 48kHz 立体声歌曲就属于你了。

• 人工智能
• 大模型
• Embedding
• 本地部署
• 音频
• 音乐生成
• 媒体生成