☰
dsh-our-free-model 用量看板完全指南:Token、生成速度与首字延迟一次看懂
2026/11/6 6:16:50 网站建设 项目流程

dsh-our-free-model 用量看板完全指南:Token、生成速度与首字延迟一次看懂

【免费下载链接】dsh-our-free-model在 dsh 里装上这个插件即可,无需登录、注册或填 API Key,就能使用包括 DeepSeek V4.1 Flash、Kimi K3 在内的前沿模型——完全免费,不限量。 All you do is install this plugin in dsh: no login, no sign-up, no API key — the frontier models are just there, DeepSeek V4.1 Flash and Kimi K3 among them. Completely free, with no usage cap.项目地址: https://gitcode.com/gh_mirrors/ds/dsh-our-free-model

给 dsh 装上 dsh-our-free-model 插件之后,除了白拿 DeepSeek V4.1 Flash、Kimi K3 这些免费模型,你还会顺手得到一个 dsh-our-free-model 用量看板:每次对话消耗了多少 Token、模型吐字有多快、第一个字多久冒出来,全部逐次记录。有一点值得放在最前面说——这些数据只写进你电脑里的一个 JSON 文件,从不上传任何服务器。想查 Token 消耗、想排查哪次调用变慢,看这一处就够了。

场景一:刚装好插件,先搞清楚 Token 都花在哪

装完插件,第一步是打开「设置 → Our Free Model → 用量看板」。页面顶部是一排计数器:Token 总量、输出 Token、推理 Token、上游请求数、请求失败数、对话回合数、回合失败数、已恢复数。这些数字只增不减,从你第一次用起累加到现在,中途不会清零。

最容易看晕的是「请求」和「回合」这两组数字,它们的统计口径不一样:请求数数的是物理上的 HTTP 调用,回合数数的是你一次交互的最终结果。举个典型例子——回答写到一半被截断,插件自动重发续写,最后记成 2 次请求、1 次请求失败、1 个回合、0 个回合失败、1 次已恢复。所以两个数字对不上是常态,不用怀疑数据错了;回合口径的完整来龙去脉写在 docs/issue-12-recovery.md。

除了计数器,这个页面还摆着 17 周的 Token 热力图、从首个记录日画到今天的总量曲线、按模型汇总的表格,以及一张「最近一回合」小卡片,属于长期趋势的主阵地。另外两个入口在插件面板里:「数据看板」页看当天大盘——今日/全部 Token 消耗、平均生成速度、缓存命中率、成功率、账号透视、模型性能表和最近 12 条明细;「运行日志」页看逐请求明细,分页可选 10/20/50/100 条,还能打开 10 秒自动刷新。三句话记住分工:看长期趋势开用量看板,看今天整体情况开数据看板,查某次调用出了什么事开运行日志。

场景二:某次调用明显变慢,怎么定位问题 🔍

先给两个指标下定义。输出速度(tok/s)回答「模型每秒吐多少字」,按你最近 40 次调用统计,而且是把这段时间的总 token 除以总秒数的加权值;首字延迟(TTFT)回答「从你按下发送,到屏幕上冒出第一个字,过了多少毫秒」,同样取最近 40 次,且只拿成功样本求平均,失败的调用不往里掺。

速度这个数字以前栽过跟头。早期版本遇到过两个翻车现场:一次调用计费 422 个输出 token,其中 291 个是 reasoning token,在第一个可见帧出现之前就已经生成完,拿整段耗时一除报出 349 tok/s,实际解码只有 108 tok/s;更离谱的一次,63 个 token 挤在 1 ms 的窗口里,单点算出 63 000 tok/s,把 26 次调用的简单平均抬到 2 493 tok/s,而那条车道的真实水平只有约 40 tok/s。现在有三道防线把这类假数挡掉:

  • 分子剔除:src/stream.js 的windowTokens()把没流式送出的 reasoning token 从分子里拿掉;
  • 窗口过滤:src/store.js 的decodeWindow()规定,解码窗口不足 250 ms、或者算出来超过 250 tok/s 的样本,直接判定不可测,不参与任何求和;
  • 加权而非平均:模型表和面板汇总都按总 token ÷ 总秒数算,一次异常样本带不偏全局。

面板底部会附一句「输出速度只统计 n/total 次可测的调用」,那个 n/total 就是可测比例。这些断言全部由 scripts/speed-stat-test.mjs 固化成回归测试。

真要去查某一次慢调用,两条路。一是看「最近一回合」卡片:最新一次调用的模型、来源(对话 / 桌面 / 转发 / 测速)、输入输出 token、首帧 ms 和 tok/s 都在上面,它走 60 秒的轻量轮询,刚发完消息不用刷新整页就能刷出结果。二是翻「运行日志」页:每一行对应一个物理请求,含结果、耗时、首字、速度和输入 / 输出 / 推理 / 缓存四档 token 细分,失败原因悬停在徽章上就能看到。日志底层是一个只保留最近 400 条的样本环,所以更早的调用不会出现在这张表里,页面末尾的「窗口」说明就是提醒这件事。

另外先排除两个「慢得合理」的情况:部分模型上游本身就慢,README 里记过 nemotron-3.5-lightning-free 首字延迟实测超过 30 秒;mimo-v2.6-flash-free 这类长思考模型在思考阶段可以静默 60–70 秒且不发任何思考帧,首字数字偏高属正常现象。若怀疑是本地链路某一跳慢,转发侧按received → body_received → dispatch → first_delta → finished打了阶段点,排查方法见 docs/issue-34-request-diagnostics.md。

场景三:把时间拉长,看看每天的用量节奏

热力图长得像 GitHub 贡献图,一格一天,四档色阶从少到多,悬停能看到当天日期、token 数和参与模型。它的格子规则很死:固定 17 周,共 113 到 119 格,每列从周日开始、到今天为止,不预生成未来日期;日期键用 src/store.js 里dayKey()按本机日历计算,跨月、跨年、夏令时切换都不会丢格。修复早期的格子拉伸问题时,专门补了 40 项回归检查,覆盖跨年、闰日、上海与纽约时区,决策记录在 docs/issue-30-heatmap.md。

总量曲线是另一套粒度:它画的是从首个记录日到今天的累计 Token 或请求数,支持按单个模型筛选,和热力图的「按天」不是一回事,别拿它跟热力图逐格对照。还有个隐藏的生命周期设定:热力图的日桶文件只保留最近 120 天,更早的按天数据会自动清出,所以「按天」看最近三个月,「累计」看全部历史,各取所需。

常见问题速答

问:生成速度那一列为什么是横杠「—」?横杠不是坏了。有些模型把整段答案集中在一两个大帧里落地,或者思考阶段根本不流式返回,于是没有一个能测量「每秒吐多少字」的时间窗,decodeWindow()判定不可测,看板就空着。模型表里整列都是「—」,说明该模型一次可测调用都没有。设计取向是:宁可不显示,也不把思考耗时混进输出速度里给你看个假数。

问:热力图空了、模型表里的 0 和「—」,怎么区分?三样东西含义不同。热力图完全空白,是你还没聊过,会显示「还没有用量记录。用一次对话后回来看看。」;某天记到 0 token,格子照常入图,不会被误判成空态——这是 issue #30 修复时特意保留的分支。模型表里失败数、已恢复数显示「—」,代表「没有这类记录」,语义上就等于 0,只是排版上做了区分。

问:累计数字旁边怎么冒出个「估算」标记?从旧版本升级上来才会看到:升级前的回合与失败数是按上游请求估算的,面板会标注「升级前历史按上游请求估算;升级后回合按最终结果精确记录」。这是口径迁移的正常状态,不是数据丢了,升级后新产生的记录都是精确值。

一张表核对所有统计口径 📉

项目口径窗口 / 范围
输出速度加权:总 token ÷ 总秒数最近 40 次调用,仅可测样本
首字延迟 TTFT成功样本均值最近 40 次调用
缓存命中率cacheRead ÷(input + cacheRead)数据看板的「今日 / 全部」范围
成功率(请求数 − 失败数)÷ 请求数,失败计入分母数据看板的「今日 / 全部」范围
Token 总量(输入 / 输出 / 推理)只增不减的累计值首次使用至今
请求数 / 回合数物理请求 vs 最终结果,两种计数首次使用至今

表外还有几项口径,列在这里一并核对:

  • Token 热力图:按天汇总,固定显示最近 17 周(113–119 天),日桶文件只保留最近 120 天
  • 总量曲线:累计折线,覆盖全部有记录的天,可按模型筛选
  • 最近明细 / 速度样本:单次样本,样本环保留最近 400 条
  • 「最近一回合」卡片:60 秒轻量轮询刷新

数据放在哪里,删掉它有多干净

所有用量和设置都写在DSH_HOME(默认~/.dsh)下our-free-model/目录里的纯 JSON 文件,文件权限 0600,落盘走「临时文件 + 重命名」的流程,写一半崩溃也留不下半截文件。插件不上传任何遥测。哪天不想要了,把整个our-free-model目录删掉,所有用量记录即刻清空,不留残余。

从装好插件后的第一个数字,到第 17 周的回看,每一次 Token、速度、首字延迟的来龙去脉都落在本机这几个文件里——查数的时候不用翻别的角落,这里就是全部答案 📊

【免费下载链接】dsh-our-free-model在 dsh 里装上这个插件即可,无需登录、注册或填 API Key,就能使用包括 DeepSeek V4.1 Flash、Kimi K3 在内的前沿模型——完全免费,不限量。 All you do is install this plugin in dsh: no login, no sign-up, no API key — the frontier models are just there, DeepSeek V4.1 Flash and Kimi K3 among them. Completely free, with no usage cap.项目地址: https://gitcode.com/gh_mirrors/ds/dsh-our-free-model

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询