企业官网建设流程全解析

natural_language_autoencoders（NLA，Natural Language Autoencoder）是 Anthropic 开源的完整训练框架，它让两个微调后的大语言模型互相"翻译"：把神经网络里的激活向量变成人类可读的自然语言，再变回来。而在整个 NLA 训练流程中，最反直觉、也最精妙的一个设计决策是——激活向量的注入位置不做任何预计算，而是每次 forward 时在 forward hook 内现场扫描 Token ID 来定位。为什么非要是这个"笨办法"？答案藏在训练框架 Miles 的两重数据重排与一次打包重排之中。

一、30 秒背景：NLA 如何把"向量"说成"文字"

NLA 由一对模型组成：

其中 AV 的训练是重头戏（SFT + GRPO 强化学习），而"注入"正是 AV 训练的核心动作：模型的提示词里埋了一个罕见标记字符（Qwen 上是一个 CJK 圆圈字㊗），训练时把它那一个位置的 embedding 直接覆盖成目标激活向量，模型看到的就不再是"一个字"，而是"一个向量"。

标记字符的挑选、Token ID 的固化，都由数据生成阶段完成并写入 sidecar 文件nla_meta.yaml，见 nla/datagen/injection_tokens.py；训练时 nla/data_source.py 把 parquet 里的占位符<INJECT>换成真实标记字符。真正执行"覆盖 embedding"的纯函数是 nla/injection.py 中的inject_at_marked_positions。

二、注入的实现：挂在 embedding 层的 forward hook

NLA 没有改 Miles 框架一行代码，而是在 nla/train_actor.py 中把 hook 注册到模型的get_input_embeddings()上。逻辑可以概括为三步：

1. embedding 层查表得到整条 token 流对应的向量矩阵；
2. 在这条流里扫描出所有标记 Token ID 的位置，并用左右邻居 ID 逐一校验；
3. 把校验通过的位置的 embedding 行，按顺序替换成本 microbatch 的激活向量。

关键在第 2 步：位置是在hook 内部、以模型真正吃下去的input_ids为输入现查的，而不是事先算好"第 N 个 token 是注入点"。这正是本文要讲的核心。

三、核心问题：为什么不预计算注入位置？

直觉上，"注入位置"似乎是样本的固有属性——提示词模板固定，标记字符在模板里的第几个 token，tokenize 一次不就知道了吗？预计算还省掉每次 forward 的扫描开销。但 docs/design.md 明确写道：任何重排之前算出来的位置都是垃圾（"Any position computed before these reorders is garbage"）。原因是从样本到模型 forward，中间发生了两次重排 + 一次重新打包：

3.1 两次重排与一次打包：预计算的位置必然失效

• 第一次重排：Miles 按 DP rank 切分数据时（_split_train_data_by_dp），用get_seqlen_balanced_partitions做按序列长度均衡的分区——哪些样本排在哪个 rank 前，取决于长度，而不是原始顺序。
• 第二次重排：get_data_iterator为了microbatch 均衡再次重排样本。
• 重新打包：get_batch把每个 microbatch 的样本torch.cat成一条全新的 packed token 流（cu_seqlens布局），padding 只加在整条流末尾。

也就是说，"样本 5 的标记 token 位于第 37 位"这种预计算结论，在两次重排和重新打包之后就彻底对不上了：样本换序了，流里的偏移量全变了，padding 的位置也不确定。硬用预计算位置注入，轻则注错位置，重则把向量注入到另一条样本的响应文本里。

3.2 在 forward hook 里扫描：构造上天然正确

而 forward hook 看到的inputs[0]，就是此刻这条 microbatch 打包流的最终形态——重排、打包、padding 全都发生在它之前，模型随后拿到的也正是这一份。在这个"最终版"上按 Token ID 扫描，位置天然与模型实际看到的一致，且对 padding 免疫。这就是所谓 "correct by construction"（构造上正确）：不依赖任何关于上游如何排队的假设。

扫描还配了一道邻居校验：位置p只有在input_ids[p-1] == left_id 且 input_ids[p+1] == right_id时才算数（邻居 ID 在 nla/schema.py 的compute_canonical_neighbors里从标准模板 tokenize 出来并固化进 sidecar）。这能拦截假阳性——比如多轮对话里用户自己粘贴了标记字符、或 packed 流里恰好出现散落的同款 ID。校验不过的位置直接跳过，不消耗向量配额。

3.3 向量与位置如何正确配对？

有人会问：扫描出来的位置是一个列表，那"第 1 个向量该给哪个位置"？答案是隐式顺序约定：get_batch拼接向量矩阵和拼接 token 流走的是同一次按 microbatch 顺序的迭代，所以扫描结果（.nonzero()按序列位置升序返回）从左到右依次对应_nla_vectors[0]、[1]、[2]……。这个顺序耦合是脆弱点，代码用数量断言兜底：合法匹配数必须严格等于向量条数，一旦模板漂移、tokenizer 版本错配或样本被漏掉，断言立刻炸响（nla/injection.py 甚至会在分布式环境下销毁进程组，避免其他 rank 在 NCCL 上挂起十分钟）。

3.4 这个设计的前提：上下文并行必须关闭

扫描 + 邻居校验隐含一个假设：一个样本的完整 token 流连续存在于同一次 forward 里。如果开启上下文并行（cp_size > 1），slice_with_cp会把每条样本拆成非连续块分给不同 rank，标记 token 和它的邻居可能落在两个 rank 上，hook 就看不到完整的三元组了。NLA 的序列很短（提示词约 50 token + 响应约 300 token），上下文并行没有收益，于是 nla/train_actor.py 在启动时直接断言cp_size == 1——用一条启动检查守住整个扫描机制的前提。这条不变量也写在 CLAUDE.md 的关键约束清单里。

四、幕后配合：单一的状态设置点

扫描只解决"注到哪"，"拿什么注"由另一个精妙的选择保证：NLA 没有在各处散落状态管理，而是把所有状态设置收敛到_get_model_inputs_args这一个方法（nla/train_actor.py）。Miles 恰好在每个 microbatch 的model(**args)调用前、且在_compute_log_prob与_train_step两条路径中都会调用它一次——从多模态通道里弹出本 batch 的原始激活向量、按injection_scale归一化、写进self._nla_vectors，hook 随即读取。

这一处设置，同时覆盖了"算 log-prob"和"训练"两条前向路径，不需要知道 microbatch 内部循环长什么样。对比 v1 设计在_train_step外层"进循环前设置、出循环后清空"的包裹法——它会漏掉_compute_log_prob里独立的一圈 microbatch 循环——可以看出"单一状态点"同样是一种"不依赖上游内部结构"的防御式写法，和 forward 内扫描是同一设计哲学的两面。

五、失效时的"大声"信号：模型开始说中文

这个设计最贴心的地方在于失败模式极其显眼。标记字符是 CJK 字符：一旦注入失败（hook 没触发、位置注错、向量没设上），AV 看到的就是㊗这个字本身的 embedding，于是自由联想出一堆中文。NLA 团队的监控策略很简单粗暴——每save_interval跑 3 条样本，grep 输出里的 CJK 字符，一个信号就能抓住整类注入 bug，无需定位根因（docs/inference.md 的调试章节列出了完整的"输出变中文"排查清单，从injection_scale用错到 double-<bos>都有对应）。

配合sidecar 契约（Token ID、模板字符串、injection_scale全部从nla_meta.yaml加载，并在启动时对活 tokenizer 断言，见 nla/config.py），NLA 把"注入位置"这件最容易静默出错的事，做成了"要么构造上正确，要么大声崩溃"的二元结果——没有中间态。

六、要点回顾

• 🔍预计算位置必死：Miles 在 forward 前会做两次均衡重排 + 一次 packed 流重打包，任何提前算出的偏移量都会失效。
• 🎯在 hook 里扫描 Token ID：forward hook 看到的input_ids就是模型的最终输入，按 ID 扫描对重排、padding 天然免疫，是"构造上正确"的。
• 🧩邻居校验 + 数量断言：左右邻居 ID 拦截假阳性，匹配数断言兜底一切顺序/模板漂移，错了就大声炸。
• ⚡状态单点设置：所有向量状态收敛在_get_model_inputs_args一处，同时覆盖 log-prob 与训练两条前向路径。
• 🗣️失败即说中文：注入坏了模型会输出 CJK 文本，grep 一下 CJK 就能全链路排雷。

这大概就是 NLA 训练里最精妙的一课：当你无法控制上游数据管道如何洗牌时，就把判断推迟到"最终版"出现的那一刻，用现场扫描代替预先承诺。相关实现可继续深入 docs/design.md §5 与 nla/injection.py 阅读。