☰
视觉决策模型来了,机器视觉要变天?
2026/10/17 6:56:24 网站建设 项目流程

从 Jev 1.14 到开源视觉决策模型,我开始重新思考机器视觉的未来。

最近看到一条 AI 新闻,让我确实有些兴奋。

10 月 14 日,TypeSafe AI 发布了 Jev 1.14.0,开放了实验性的图像输入、目标边界框(Box)和最长262K Token 上下文能力。

乍一看,好像就是一个模型增加了视觉功能。但对于一直在做 AI 视频识别业务的我来说,这件事的意义可能远不止于此。

因为它恰好切中了我最近一直在思考的一个问题:

我们真的需要让大模型先描述一张图片,再决定图片里有没有问题吗?

如果 AI 可以直接看图、直接判断、直接返回结构化结果,那么现有的视频智能识别体系,是不是就多了一条新的技术路线?

起初:离我还远

一、最初接触 Jev 时,我并没有觉得它会对视觉业务产生多大影响

前段时间,Jev 刚出来的时候,我其实就关注过这类决策模型,也测试过一个思路相近的开源项目。当时给我的第一印象是:很有意思,但与我当前的业务距离还有点远。

Jev 和普通大语言模型最大的不同,是它不以生成一大段文字为主要目标,而是针对指定问题直接给出结构化判断。

比如,让模型判断某项操作是否应该执行、某个任务应该交给哪个 Agent,或者浏览器自动化过程中下一步该点击什么、是否需要人工确认。这些场景很适合决策模型。

但我当时主要做的是 AI 视频识别。比如通过监控画面判断有没有异常排污、有没有烟火、有没有漂浮垃圾,以及一些特定环境场景中的异常行为。

这些任务的输入是图像。

当时我理解的 Jev 主要处理文本,因此即使它的决策速度再快,也不能直接解决我的问题。如果要使用它,就得先让视觉模型把图片转成文字,再由 Jev 进行判断。

虽然理论上可行,但相当于同时运行两个模型,增加了调用链路,也存在视觉信息在文字描述中丢失的风险。

所以那时候我就在想:

什么时候能够出现一个既具备视觉理解能力,又能够像 Jev 一样快速进行结构化决策的模型?

我觉得这个方向应该会出现,只是没想到进展来得这么快。

一个月巨变

二、短短一个月,视觉决策模型已经开始出现

Jev 于今年 9 月引起广泛关注,到了 10 月 14 日,TypeSafe 就正式公布了图像输入能力。

不仅能够根据图片判断问题,还新增了 Box 类型,可以定位图像中的一个目标。另外,长上下文能力也开放到了 262K Token。

这意味着,Jev 不再只是读取一段文本或者 JSON 数据进行判断,还可以把图像直接作为决策依据。

更让我意外的是,在进一步了解之后,我发现这个方向的进展甚至比 Jev 1.14 的新闻更快。

10 月 1 日,Cloudflare 已经发布了 Clef 和 Clef-Flash 两个开源决策模型。

其中,Clef-Flash 只有 9B 参数,基于 Qwen3.5-9B,支持图像输入、结构化问题和直接输出概率,并且开放了模型权重。

也就是说,能够看图的决策模型不只是一个未来设想,而是已经有了可以下载、可以本地部署的开源实现。

这让我开始意识到,可能正在出现一种值得关注的新模型形态。

过去,我们习惯于把 AI 模型分成两类:一类负责识别,一类负责理解和生成。而现在,一些模型正在尝试把视觉理解与快速决策结合起来。

它们不一定需要告诉我们画面里发生了什么,而是可以直接回答我们真正关心的问题。

我认为,这对机器视觉应用具有很大的想象空间。

真正的需求

三、我们做视觉识别,真正需要的是什么?

在实际项目中使用视觉大模型时,我发现一个很现实的问题:很多时候,我们并不需要 AI 写一篇分析报告,而只是需要它给出一个判断。

比如,在一个入河排污口的监控画面中,我们需要知道:

  • 画面中是否存在明显排污行为?
  • 水体颜色是否异常?
  • 是否存在漂浮垃圾?
  • 是否需要触发告警?

理想情况下,系统只需要得到几个明确的结果:正常还是异常、异常属于什么类型、判断有多大把握,以及是否需要进一步人工复核。

但传统 VLM 的工作方式,通常是接收图片和提示词,然后逐个 Token 生成回答。即便我们使用 JSON Schema 约束输出格式,让它最终只返回几个字段,模型一般仍然需要逐步生成这些内容。

实际上,JSON 结构化输出早就不是新鲜事了。

我们现在遇到的主要瓶颈之一,并不是模型能不能返回 JSON,而是完成判断所需要的时间。

特别是在视频巡检中,一个摄像头可能需要不断抓帧,几十个、几百个摄像头又可能同时产生识别任务。如果每次都要等待视觉大模型生成几十甚至几百个 Token,那么在高频调用的情况下,推理延迟和资源消耗就会逐渐放大。

而 Jev、Clef 这类决策模型带来了一种不同的思路:

既然最后只需要一个判断,为什么一定要通过生成文字来获得这个判断?

例如,Cloudflare 的 Clef 使用专门的决策输出层,直接对预先定义的候选答案进行评分,不需要把完整结果一个字一个字生成出来。

这种方式并不代表视觉编码和计算过程消失,而是省去了不必要的自回归文本生成过程。对于分类、审核、路由、风险判断等任务,这是一种非常有价值的优化方向。

第三条路线

四、它可能会给传统视觉识别带来新的选择

过去做机器视觉识别,我们通常会考虑两条路线。

第一条是传统的目标检测模型,比如 YOLO。它的优势很明显:成熟、速度快、定位能力强,特别适合识别人员、车辆、垃圾等相对明确的目标。

但在一些复杂业务场景中,单纯识别目标并不够。比如画面中有一股白色水流,到底属于正常现象,还是需要上报的异常排污?这个问题不只是识别到了什么,还涉及业务规则、环境背景和具体场景。

第二条路线是 VLM,也就是视觉语言模型。它更擅长结合语言理解复杂的业务要求。我们可以告诉它这个摄像头位于什么位置,正常情况下是什么样子,哪些现象需要报警,哪些现象可以忽略。

这种方式的灵活性很高,但推理速度、资源开销以及判断稳定性,又成为需要解决的问题。

现在,视觉决策模型提供了第三种值得研究的选择。它尝试结合视觉理解能力与结构化决策能力。

对于一些原本需要 VLM 生成文字才能完成的判断,未来可能通过一次模型推理就得到明确的分类和概率结果。如果速度足够快、准确率足够高,就可以支持更加频繁的调用。

特别是那些不需要复杂文字解释、只需要做视觉判断的任务,我觉得非常值得尝试。

当然,这并不意味着它已经能够替代 YOLO。YOLO 在高帧率目标检测、多目标定位和专用场景优化方面仍有明显优势。视觉决策模型能否实现类似的实时性,还需要考虑图像编码、推理延迟、吞吐量和实际检测效果。

但至少现在,我们不必再把视觉业务完全局限在传统目标检测和生成式视觉大模型这两条技术路线上。

多一种技术路线,就意味着多一种优化成本、性能和业务适配能力的可能。

边缘的机会

五、真正让我期待的,是边缘计算的应用空间

另外一个特别值得关注的地方,是模型规模。

传统的大型视觉语言模型,在很多项目中需要比较高的 GPU 配置,部署成本不低。对于一些预算有限、但又需要智能视频识别的行业项目来说,这会影响实际落地。

而现在,Clef-Flash 已经提供了 9B 参数的开放模型。

虽然 9B 仍然不能算特别小,更不能直接在普通低功耗摄像头上运行,但在一些配备合适 GPU 的小型服务器和边缘计算设备上,已经具备尝试部署的条件。

如果后续这类模型继续向 4B、2B,甚至更小的规模发展,同时保持足够好的视觉决策能力,那么应用空间还会进一步打开。例如工业现场的设备异常识别、园区安全监管、环保监控、生产巡检,或者一些需要快速作出判断的边缘智能应用。

以前可能需要多个模型、多次推理才能完成的判断,未来或许能够通过更加轻量的模型完成。

但这里我觉得还有一个前提:模型参数变小,不代表业务判断就一定准确。

尤其是在涉及安全、环保等业务的场景中,误报与漏报的代价并不一样。最终还是要依赖真实场景数据进行测试,而不是只看通用排行榜。

直接做判断

六、比速度更重要的,是机器开始学会直接做业务判断

写到这里,我觉得这件事还有一个更深层的变化。

过去,我们一直在努力让 AI 更善于表达。让它能描述图片、理解视频、输出分析报告,甚至像专家一样解释问题。

但在实际业务系统中,并不是所有任务都需要这样的能力。很多时候,我们希望 AI 做的事情其实非常简单:

看到什么、是否异常、要不要处理。

当然,业务判断本身并不总是简单的。一张画面是否需要报警,可能还涉及正常样本、历史记录、设备状态、业务规则等信息。

因此,我认为未来比较理想的架构,可能不是单纯依赖某一种模型,而是让不同模型承担不同的工作:

  • 目标检测模型负责快速寻找明确目标;
  • 视觉决策模型负责高频判断;
  • 复杂的视觉语言模型负责疑难场景分析;
  • 业务规则系统负责最终的告警与处置。

在这个架构中,AI 不再只是一个能够回答问题的助手,而是逐渐变成业务系统内部可以持续调用的智能判断组件。

这可能才是让我最期待的地方。

写在最后

回头想想,从最初接触纯文本决策模型,到开始设想视觉决策,再到如今看到 Jev 开放图像能力、Clef-Flash 开源落地,其实只过去了很短的时间。

AI 技术的发展速度,确实有点超出我的预期。

当然,这些技术目前还有很多需要验证的地方。Jev 的视觉功能仍处于实验阶段,官方并不建议直接用于生产;开源的 Clef-Flash 也需要在真实场景中验证识别准确率、误报率和运行性能。

但我觉得,这已经足以让做机器视觉应用的人认真关注。它未必会立刻颠覆 YOLO,也未必会马上替代 VLM。

不过,视觉模型的发展方向,可能正在从“尽可能理解和描述画面”,延伸到“更快、更准确地完成业务判断”。

以前我们让 AI 看懂世界,再告诉我们它看到了什么。未来,也许我们可以让 AI 看懂世界,然后直接作出可靠的判断。

对于真正做行业 AI 应用的人来说,这一步,可能比让模型多说几句话更有价值。


资料参考

  1. TypeSafe AI:《Jev: For the builders AND dreamers》,2026 年 10 月 14 日 https://typesafe.ai/blog/jev-1-14
  2. Cloudflare:《Introducing Clef: our open-source decision models》,2026 年 10 月 1 日 https://blog.cloudflare.com/clef-decision-models
  3. Clef-Flash 开源模型 https://huggingface.co/Cloudflare/clef-flash
  4. Ollama 本地运行版本 https://ollama.com/library/clef-flash

我是文茂,热衷于分享 AI 工具与开发者生态观察。觉得有用欢迎点赞、在看、转发三连。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询