Jev(TypeSafe AI System One Model)详解
文档简介:介绍TypeSafe AI新发布的Jev模型,包含背景、核心特点、原理、对比、局限、使用示例,适合AI Agent研发参考。
一、基本介绍
Jev 是TypeSafe AI在2026年9月15日发布的「System One(系统一)决策模型」,由前OpenAI研究员、RLHF/InstructGPT核心作者 Diogo Almeida 主导开发。
核心口号:Decisions, not strings(要决策,不要文本)。
名字来源:Jev取自经济学家杰文斯(Jevons),杰文斯悖论。团队目标是把AI原子决策压到极低成本,让AI Agent可以海量调用判断。
一句话理解Jev:
传统LLM逐字生成文本,Jev不生成任何文字,一次性并行输出结构化、带置信概率的判断结果。
它不替代GPT/Claude做长文本推理、写代码、聊天;专门给AI Agent、业务后台做高频微小选择题。
对应《思考,快与慢》概念:
- Jev:系统一(快思考,直觉判断)
- GPT/Claude这类LLM:系统二(慢思考,深度推理)
Agent架构分工:大模型负责规划,Jev负责成千上万次快速判断。
二、支持任务类型
同一个API请求可以并行执行多个独立问题,增加问题数量延迟几乎不变。
- Noul(Yes/No布尔判断):返回0~1概率。示例:这条消息是否包含客户投诉?0.92
- Choice(多选):最多支持255个候选选项,输出每个选项概率,选出最优。示例:邮件分到:财务/售后/销售。
- Score(打分):210级刻度打分。示例:工单紧急程度15分。
三、核心特点
1. 速度极快、成本极低
官方基准:对比前沿LLM,最快提速193.6倍,成本降低444.6倍
- 端到端延迟:
70ms ~ 500ms - 定价:输入 $0.042 /百万token,输出免费(结构化输出成本极低,不计费)
2. 输出天然结构化,可直接被代码使用
传统LLM链路:输入 → 生成文本字符串 → 代码解析JSON → 校验(容易解析失败、幻觉乱输出)
Jev链路:输入状态+问题定义 → 直接返回强类型结构化数据+校准后的概率,无需文本解析。
3. 校准置信概率(核心亮点)
普通大模型输出的自信度不可靠,经常“一本正经胡说八道”。
Jev训练目标就是概率校准:模型输出90%置信,真实正确率接近90%,方便业务做阈值控制、风险拦截。
4. 幻觉形式完全不同(并非零幻觉)
- 传统LLM幻觉:编造文字、虚构事实。
- Jev幻觉:只会在预定义选项里选错,不会编造不存在的内容。
局限性:不能处理不在预设选项里的新知识、开放问题。
5. 适用场景
- AI Agent:判断下一步动作、任务是否完成、工具路由
- 内容审核:过滤引战、垃圾信息
- 客服工单自动分类、风险评分
- 自动化浏览器/游戏智能体(Minecraft、模拟器机器人)
四、Jev 和传统LLM根本差异
| 对比项 | 普通大语言模型(GPT/Claude) | Jev System One |
|---|---|---|
| 生成方式 | 自回归Autoregressive,逐token串行生成文本 | 非自回归,并行采样,一次前向计算输出全部决策 |
| 训练算法 | RLHF(人类偏好强化学习) | RLCD:Calibrated Decisions 校准决策强化学习 |
| 输出 | 自由文本,需要解析 | 固定类型:bool/选项/分数 + 置信概率 |
| 延迟 | 几秒~几百秒 | 70–500ms |
| 目标 | 生成流畅自然语言 | 输出可靠、校准的概率判断 |
| 幻觉形式 | 编造事实、虚构内容 | 在候选选项中选错 |
五、底层原理(细节)
1. 架构:抛弃自回归(Autoregression)
传统LLM:输出第1个token → 放回上下文 → 预测第2个token,串行生成,文本越长越慢。
Jev不做token接龙。给定输入文本(state)和一组预先声明的判断问题,模型一次前向推理,并行算出所有问题各个候选结果的概率分布,一次性返回全部决策。
这就是多个问题一起请求,延迟几乎不变的根本原因。
2. 训练核心:RLCD(Reinforcement Learning for Calibrated Decisions,校准决策强化学习)
Diogo团队对当年RLHF的反思:
RLHF目标是让回答“看起来符合人类喜好”,鼓励模型生成通顺文字,容易不懂装懂;
RLCD目标不是“说漂亮话”,而是让概率可信:模型预测的置信度,要匹配真实世界正确率。
训练惩罚逻辑:
- 真实答案Yes,模型输出Yes概率0.95 → 高奖励
- 真实答案No,模型输出Yes概率0.95 → 严厉惩罚
- 优化优先级:概率校准 > 表面正确率。宁愿低置信,不要盲目自信。
3. 并行采样器(parallel sampler)
普通采样串行逐个token采样;Jev内置专门并行采样器,同时对多个独立决策目标采样,一次性算出全部选项的概率分布,没有逐字解码开销。
4. 输入范式:State + Typed Questions
调用Jev时,必须显式定义:
- State:输入原始信息(邮件、网页文本、Agent当前环境状态)
- 一组带类型的问题:每个问题提前写好候选选项/打分区间
模型不会猜测你的意图;所有可能答案必须预先定义在请求里。
六、局限
- 不适合开放生成任务:不能写文章、写代码、开放式问答。仅支持预设选项的判断。
- 不是万能裁判:简单分类任务准确率和廉价小模型接近,强推理任务能力远弱于GPT4/Claude;优势不在准确率,而在极低延迟+极低成本+可信置信度。
- 强依赖预定义选项:如果真实情况不在候选列表,只能强行从给定选项中选择,容易出错。
- 当前API暂不对中国大陆开放。
七、爆火原因
AI Agent开发最大痛点:Agent循环内要执行成千上万次微小判断,每次调用GPT会贵、慢、上下文膨胀。
Jev提供分层架构方案:
大模型做顶层规划(慢思考),Jev负责循环里海量原子判断(快思考)
让Agent自动化工作流成本下降几百倍,延迟大幅缩短,Vercel、LangChain、Cloudflare上线首日大量开发者接入测试。
八、调用示例(JSON伪代码)
{"state":"用户:我的订阅被扣了两次钱","questions":[{"type":"choice","options":["财务工单","售后工单","产品反馈"]},{"type":"score","range":[1,5],"prompt":"工单紧急程度"},{"type":"noul","prompt":"是否存在退款风险"}]}Jev一次性返回三组结果+各自概率,程序直接分支,不需要解析文本。