企业官网建设流程全解析

Qwen3.5-4B-singprobe 是一个基于 Qwen3.5-4B 的内嵌式流式安全护栏（streaming guardrail）探针模型，它在生成过程中逐 token 输出意图分类、不安全内容与幻觉风险三类评分。本文为新手整理的Qwen3.5-4B-singprobe API 参考，覆盖 config.json 全部配置参数、配置类与模型接口、服务端启动参数，以及常见报错说明，方便你快速查阅和对接。

项目概览：SingProbe 是什么

SingProbe 不是独立的安全模型，而是一个仅约5.18M 参数的轻量探针：它复用基座模型的隐藏状态，在解码时同步打分，额外开销< 0.5%。

💡 重要提示：探针必须与精确匹配的基座模型（Qwen/Qwen3.5-4B+ 本检查点）成对使用，混用其他版本会导致打分失效。

仓库文件结构一览 📁

仓库非常精简，全部资料如下：

• README.md：模型说明、评测结果与快速上手
• config.json：模型配置（架构、维度、层号等核心参数）
• configuration_sing_probe.py：配置类定义（Attn / MLP 两种）
• modeling_sing_probe.py：模型实现与forward接口
• model.safetensors：探针权重文件（约 10MB，bfloat16）

服务端启动参数速查

推荐通过 SGLang 或 vLLM 的集成分支加载探针，在服务启动时指定探针路径即可：

python -m sglang.launch_server \ --model-path Qwen/Qwen3.5-4B \ --probe-ckpt inclusionAI/Qwen3.5-4B-singprobe \ --port 30000

启动后，服务会为每个生成的 token返回一个label_0–label_9的评分字典，可直接用于流式安全拦截与幻觉检测。

config.json 全部配置参数详解

打开 config.json，每个字段的含义如下：

配置类参数：SingProbeAttnConfig 与 SingProbeMlpConfig

configuration_sing_probe.py 中定义了两个可继承PretrainedConfig的配置类，除上表参数外还有默认值与扩展字段：

两个配置类都提供input_size属性，自动计算为hidden_size × len(base_model_layer_ids)，即探针的输入特征维度（input_size 定义）。

模型接口说明：forward 输入与输出

探针对外只有一个核心接口forward（SingProbeAttnModel），调用方式极简：

• 输入：hidden_states，形状[batch, seq_len, input_size]，即拼接了 3 个接入层（9/19/30 层）隐藏状态的张量
• 输出：TokenClassifierOutput，其中logits形状为[batch, seq_len, 10]，每个 token 对应 10 个标签分数
• 可选参数：return_dict=True/False，False时直接返回(logits,)元组

内部处理流程：proj_q / proj_k / proj_v投影 → 注意力（超长序列自动切换sliding_window窗口注意力）→o_proj残差 →RMSNorm→classifier线性分类层。其中 Q 头数为 8、K/V 头数为 1，属于GQA（分组查询注意力）结构，因此计算量很小。

MLP 版本（SingProbeMlpModel）接口一致，只是内部为两层全连接（fc1 → 激活 → fc2），适合作为更省资源的替代方案。

常见报错信息排查

性能参考：探针评测表现 📊

以下为 README.md 中给出的平均评测结果（越高越好）：

良性回复的平均误报率仅0.04%，解码开销< 0.5%，适合作为生产环境的常驻护栏。

使用小贴士 ✅

1. 成对使用：Qwen/Qwen3.5-4B+ 本探针，不要替换基座版本；
2. 读取分数：流式场景下每个 token 会返回一个label_0–label_9字典，可对高风险标签设置阈值实时拦截；
3. 精度保持：权重为 bfloat16，加载时注意保持相同 dtype 以避免打分漂移；
4. 长文本：序列超过 2048 时探针自动启用滑动窗口注意力，无需手动分片。

以上就是 Qwen3.5-4B-singprobe 的全部配置参数与模型接口清单。参数有变以 config.json 为准，接口细节可对照 modeling_sing_probe.py 源码进一步阅读。