企业官网建设流程全解析

AnyJev 是一个把任意开源 LLM 变成 Jev 风格决策模型的开源库：给它一个状态和一个类型化问题，它就返回带真实概率的决策，全程免训练。本文前瞻项目路线图上的三大新特性——无标签早退、保形弃权与 Agent 循环评测，并带你了解如何跟踪进度、参与贡献。

📦 先看清楚：AnyJev 现在能做什么

在聊未来之前，先确认一下起点，因为路线图上每一项都是对现有能力的延伸。

AnyJev 目前有两条路线：

• 免训练路线（Decider）：直接从任意开源 LLM 的下一个 token 分布里读出决策。L0 档会在选项的所有轮换上平均掉位置偏差，并无需标签地除掉标签偏好——Qwen3-8B 在 BANKING77 上，5% 错误率下可自动决策的比例从 7.7% 提升到 46.3%。
• 自蒸馏路线（Tacit）：Tacit-1.7B 到 9B 模型每个决策只需一次前向，打开adaptive=True后还有一小撮低置信度决策会升级给模型自己的推理，比例有上限。

官方路线图维护在 ROADMAP.md，规则很严格：只有当代码、测试、结果 JSON 和文档行都合并进主分支，一个条目才能打勾。下面前瞻其中最有看头的几项。

🚪 无标签早退：从模型的一部分层读出决策

为什么：很多决策并不需要模型的全部深度——最后几层主要是在把"已经想好的答案"翻译回 token 空间。跳过它们是最线性的高效杠杆。

怎么做：训练一个映射到最终层基底的探针，无需任何标签，就能从"截断的前向"里读出决策；用多深的截断，则按"与完整模型答案的一致率"来选，而不是按准确率——因为一致率不需要标签就能测量。

基础已就位：隐藏状态的管道已经随 0.3.0 发布，包括HFBackend.hidden_states_to、写截断检查点的 anyjev/truncate.py 和 vLLM 的 pooler 路径。truncate会把模型的前 n 层写成一个普通检查点，vLLM、transformers、量化工具都能照常服务它——早退不是一个特殊对象，而是一个更小的模型。

完成标准：Decider能通过映射读出截断前向、有FakeBackend测试覆盖、并提交了"一致率 vs 深度"的结果 JSON（计划版本 0.3.1）。

🛑 保形弃权：给决策模型一条"不回答"的规则

AnyJev 的每个决策都带概率分布，但概率本身并不回答"我这次到底该不该答"。保形弃权（Conformal abstention）要补的正是这块：Decider(target_error=...)会设置decision.abstained，让模型在置信度不足时如实弃权，并且弃与不弃有统计保证。

完成标准：在留出的合成数据上，"已回答"样本的实际错误率不超过设定的目标值——这是一条保形意义上的承诺，而不是事后调参凑出来的数字。

对部署场景的意义很直接：你可以先说"这条流水线最多容忍 2% 的错误"，框架就自动决定哪些决策放行、哪些转人工，而不需要任何标签。

🤖 Agent 循环评测：把决策放进真实的 agent 里

这是路线图上"Next"级别最重要的一项。docs/limitations.zh-CN.md 里有一条坦白的局限：目前发布的所有决策都是在孤立状态下评分的，不是在 agent 循环里。

计划的做法：选一个公开的 agent 基准，让循环里的决策分别由三种方式回答——

同时记录任务成功率、每个决策的准确率，以及每个决策、每个 episode 的成本。完成标准是：一条命令跑完、结果 JSON 提交进仓库、README 引用数字（无论数字好看与否都如实引用）。

对用户的价值：你终于能回答"把一个 LLM 变成决策模型，放进 agent 后到底省了多少、稳了多少"这个真实问题。

📌 其他在办事项与远期计划

马上跟进的：

• Tacit-8B / 2B / 1.7B 的升级推理结果：目前 scripts/eval_tacit.py 已跑通 9B 和 4B，剩下三档补齐即可。
• 超过 26 个选项的 span 读法：字母标签把choice选项数封顶在 26，新方案改为对每个选项串做 teacher-forcing 打分（后端的sequence_logprobs），目标是跑通 77 路 BANKING77 并给出翻转率与 ECE。
• 更多 log-prob 后端（MLX、Ollama）：契约只有一个方法next_token_logprobs(prompts, token_ids)，每个引擎就是一个文件，anyjev/backends/ 目录下已按此模式落地了 SGLang 和 llama.cpp 两个社区贡献。这是官方 help-wanted 项，一个文件、一个 PR 就能参与。

Later 区：多模态状态（视觉后端，raw / L0 先行）、量化下的准确率与 ECE（bf16 / FP8 / W4）、以及为 batch 先验提供无标签的偏斜估计。

🧭 如何跟踪路线图、如何参与

• 计划与完成标准：ROADMAP.md——每个条目都写明"为什么"和"完成的标准"，条目从 Next 移到 Now 意味着有人正在做，移到 Shipped 意味着达成标准。
• 已落地的变更记录：CHANGELOG.md。
• 档位与路由的完整契约：docs/levels.md；旋转预算的原理推导（含中文版）：docs/rotation_budget.zh-CN.md。
• 也想了解边界？docs/limitations.zh-CN.md 列明了所有数字在哪里失效。

顺带说明项目的非目标：不做基座模型预训练、不做 prompt 编译框架、不做决策自身升级之外的路由逻辑——这些属于决策层的上游或下游。

🚀 一句话总结 AnyJev 的未来方向：让决策更快（无标签早退）、更可信（保形弃权）、更真实（在真实 agent 循环里被检验）。如果你手上正好有 MLX 或 Ollama 环境，ROADMAP.md 里的 help-wanted 项可能正是你的第一个 PR。