【免费下载链接】hlwy-ai-checker
检查第三方AI API是否掺假以及渠道一致|基于llm指纹的AI模型识别
hlwy-ai-checker是一款开源的AI 模型掺假检测工具,用于检查第三方 AI API 渠道是否存在"挂羊头卖狗肉"(如用低配模型冒充旗舰模型),并验证渠道一致性。它基于 LLM 指纹进行统计识别,可完全本地部署,保护你的 API Key 与测试数据。本文带你从零开始,3 步内跑通第一次 AI 模型检测。
🤔 为什么需要 AI 模型掺假检测?
花高价购买的 API 渠道,真的返回的是官方旗舰模型吗?hlwy-ai-checker 给出的检测思路非常巧妙:
- LLM 不是真正的随机数生成器。让模型"随机选数字"时,输出会受到训练数据、模型架构、RLHF 对齐方式、分词策略和采样参数等影响,呈现出独特的统计偏差;
- 通过重复采样并分析输出分布,就能形成具有区分度的"统计指纹";
- 将第三方渠道的测试结果与官方基准指纹对比,即可辅助判断两者行为是否一致。
⚠️ 注意:该方法属于统计检测,结果仅供参考,不能作为商业纠纷或退款索赔的绝对依据(详见 README.md 中的免责声明)。
📥 第 1 步:安装 —— 下载后一条命令启动
hlwy-ai-checker 完全本地运行,无需构建、无需数据库:
- 从项目 Releases 下载最新版 ZIP 并完整解压(也可以使用
git clone https://gitcode.com/gh_mirrors/hl/hlwy-ai-checker克隆代码); - 在解压目录下执行:
python start.pystart.py 会做三件事:自动检查并安装依赖(仅依赖requests,缺失时自动安装,默认源失败会回退到清华镜像)、启动本地代理服务器(解决浏览器 CORS 限制,代理所有 API 请求)、自动打开网页界面。整个过程 API Key 和测试数据都不出本机,安全可控。
⚡ 第 2 步:一键鉴别 —— 完成第一次 AI 模型掺假检测
启动后浏览器自动打开界面,默认就是「⚡ 一键鉴别」标签页。无需自己标定基准,官方基准会自动下载,只需 3 小步:
- ① 选择模型:从官方基准库中挑选要鉴别的模型(完整清单见 baselines/index.json,包含
gpt-6-astra、claude-opus-5-5、deepseek-v4.1-flash等); - ② 填写渠道信息:选择 API 类型(OpenAI 兼容格式最常见,中转站基本都是这个),填入渠道的Base URL和API Key,渠道上的模型名称默认与所选模型一致,命名不同时可手动修改;
- ③ 点击「开始一键鉴别」:等待进度条走完即可。
💡进阶选项(一般不用改):测试次数默认 100 次(范围 50–500)、并发数默认 5(范围 1–50)、请求头伪装可选默认 / Claude Code / Codex CLI。如果你怀疑中转站在针对检测器做手脚,可以打开反针对模式——它会在提示词中随机插入干扰字符,让固定的"特征匹配"失效。
API 配置可保存在浏览器本地(localStorage),下次检测一键载入;公用电脑上建议取消勾选"记住 Key",Key 就不会被明文留存。
📊 第 3 步:看懂测试结果 —— 相似度与掺假判定
测试完成后,报告会自动列出当前渠道与所选模型官方基准、以及所有官方基准的匹配统计,核心指标包括:
| 指标 | 含义 |
|---|---|
| 众数匹配 | 渠道输出众数与官方指纹众数的一致性 |
| 余弦相似度 | 两个输出分布的向量相似程度,越高越接近 |
| JS 散度 | 两个概率分布的差异,越低越接近 |
判定规则:报告以所选模型为主模型,同时附带与所有官方基准的匹配度对比。如果其他模型的匹配度比所选模型高出至少 0.5 个百分点,工具会提示"该渠道可能被替换了模型"——这就是最直观的掺假信号。
🛠️ 进阶玩法:手动模式(自己标定 + 对比验证)
想检测官方基准库里没有的模型?可以切换到「📊 标定基准」标签页走手动模式:
- 模型标定:填入官方渠道的 API Key 和 Base URL(注意Base URL 需包含
/v1)进行基准标定,至少需要 40 个有效样本; - 渠道验证:填入第三方渠道的 API Key 和 Base URL,选择与标定阶段相同的模型开始测试;
- 查看结果:比较官方渠道与第三方渠道的指纹相似度及统计结果。
标定数据会保存在本地,之后可随时用于对比验证,标定一次、多次复用,Token 消耗少、自适应性强。
📁 项目关键文件速览
| 文件 | 说明 |
|---|---|
| start.py | 后端代理服务器:依赖自装、CORS 代理、官方基准拉取与自动更新 |
| hlwy-ai-checker.html | 网页检测界面(一键鉴别 / 标定基准 / 结果对比) |
| baselines/ | 官方模型基准指纹库,如 gpt-6-astra.json |
| README.md | 项目完整说明与原理介绍 |
至此,你已经掌握了 hlwy-ai-checker 的完整上手流程:安装 → 一键鉴别 → 看懂报告。以后每接入一个新渠道,花几分钟跑一次掺假检测,就能让"渠道到底是不是真模型"这个疑问有了数据答案。
【免费下载链接】hlwy-ai-checker
检查第三方AI API是否掺假以及渠道一致|基于llm指纹的AI模型识别
相关推荐
如何快速上手mitra-classifier-2:从环境安装到第一次预测只需3步
如何快速上手mitra classifier 2:从环境安装到第一次预测只需3步 mitra classifier 2(Mitra v2)是一款面向表格数据的分
TokenTest 快速上手教程:零基础 3 步用 Web 控制台完成第一次 AI 模型评测
TokenTest 快速上手教程:零基础 3 步用 Web 控制台完成第一次 AI 模型评测 TokenTest 是一款免费的开源 AI 模型评测工具,提供开箱
Empryo 快速上手指南:60 秒安装,完成你的第一次 AI 重构
Empryo 快速上手指南:60 秒安装,完成你的第一次 AI 重构 Empryo 是一款面向桌面、终端和 CI 的 AI 编码工具:它先为整个仓库建立"灵魂地
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考