企业官网建设流程全解析

UltraData-Code-L2-Classifier质量模型为何打0-10分？两阶段序数打分机制深度解析

UltraData-Code-L2-Classifier是一组面向 11 种编程语言的代码文件质量模型，其中的Q（quality）质量模型会为每个源文件输出一个0~10 分的quality_score，用于从海量代码里筛出高质量、有算法价值的实现。它采用一套两阶段序数打分机制：先用「零分门控」判断文件是否为无逻辑的配置/数据，再用序数回归把真正的代码排到 1~10 的有序刻度上。本文从源码出发，讲清楚这个分数为什么恰好落在 0~10、两阶段各自在做什么，以及为什么选序数打分而非普通回归。

先搞懂：质量分数在 L2 筛选中的位置

UltraData-Code-L2 的目标，是从标准化代码中集中可解释的计算与问题求解逻辑。为此，每种语言都由三个小模型协同完成筛选，它们都复用同一份预计算代码语义表征：

本文的主角是Q 质量模型。它的输入是经过 StandardScaler 标准化的 1024 维 embedding（注意：Q 只看代码表征，不使用文件路径；只有相关性模型 A 才拼接路径特征）。

为什么是「两阶段」而不是一个头直接打分？

如果把「这个文件值几分」当作一个任务，它其实藏着两个性质不同的子问题：

• 要不要打？—— 配置文件、数据转储、纯样板代码根本谈不上「质量高低」，应该直接压到接近 0；
• 打几分？—— 真正有逻辑的代码，才需要在一个 1~10 的有序刻度上排出高下。

用一个回归头同时做这两件事，会让「无逻辑文件」污染掉「代码好坏」的学习信号。于是 Q 被拆成两个阶段、两个头，共享同一个特征主干（QualityMLP）：

1. 阶段一 · 零分门控（zero gate）：zero_head输出 1 个 logit，经sigmoid得到p_zero，表示「这是一个应被打零分文件」的概率。
2. 阶段二 · 序数定位（ordinal placement）：ordinal_head输出 9 个 logit，各自过sigmoid，把文件放到 1~10 的有序刻度上。

公式拆解：0~10 是怎么算出来的

最终分数是一个乘积（见 predict_quality）：

quality_score = (1 - p_zero) × (1 + Σᵢ σ(oᵢ))

逐项来看它的取值范围，就明白了为什么结果恰好卡在 0~10：

9 个序数 logit 各自σ ∈ [0,1]，求和落在 [0, 9]，再加 1 就是 [1, 10]——这正是「1 到 10 分」的来源。

再看三个边界情况，机制就很清晰了：

• 无逻辑文件（配置/数据/样板）：p_zero → 1，存活系数 → 0，无论序数头给多高，最终分数都被拉向 0；
• 最佳代码：p_zero → 0且 9 个序数概率都 → 1，分数 →10；
• 最弱的真代码：p_zero → 0但序数概率都 → 0，分数 →1（仍是代码，给最低档）。

也就是说，零分门控相当于一个乘法否决器：它不删行，而是把不合格文件的分数整体乘小。

为什么用「序数打分」而不是普通回归？

1~10 是一个有序刻度（ordinal scale），本质是「排名」，而不是等间距的连续量。用错建模方式会带来两类问题：

• 10 类 softmax：把 10 档当成「互不相干的类别」，丢失了「8 分比 7 分好、且只差一档」的有序信息；
• 回归 + 均方误差（MSE）：假设各档等距且对标签噪声敏感，容易被个别噪声标签带偏。

**序数回归（Cumulative Link Model）**是这类有序标签的「正解」：它把 10 档拆成 9 个二分类阈值（是否「≥ 第 k 档」），既保留了顺序，又能把各档概率求和得到一个平滑、单调的期望分。Q 的阶段二正是这个思路——9 个sigmoid对应 9 个阈值，1 + Σσ(oᵢ)就是期望档位。

这也是 describe 里把 Q 标记为"strategy": "two_stage"的原因：零分门控管「该不该打」，序数头管「打几分」，两者相乘，既干净又可解释。

质量分如何用：阈值与筛选策略

quality_score只是筛选三把尺子中的一把。在 config.json 中，通用策略为：

• algo_rel_min: 0.8（相关性阈值）
• quality_min: 3.0（质量阈值）
• exclude_categories: ["EXCLUDE"]（角色否决）

一个文件只有同时满足「相关性达标 + 角色不被否决 + 质量分 ≥ 阈值」，才会被保留进 UltraData-Code-L2。这些阈值是策略选择而非模型属性，可按语言单独覆盖，也可以在命令行用--quality-min等参数临时改写（见 load_policy_defaults）。

动手给文件打质量分

1. 用Qwen3-Embedding-0.6B生成 1024 维 embedding（必须与训练时一致）；
2. 运行 score_parquet.py 批量打分并镜像输出：

python scripts/score_parquet.py \ --scorers classifiers/python \ --input data/input \ --output-root data/output \ --apply-policy

打分后每行会多出category、cls_confidence、algo_rel_score、quality_score等字段，加--apply-policy还会追加布尔列selected（标记通过全部阈值的行，不删除未通过行）。

小结

• Q 质量模型只看标准化 embedding，输出0~10 分的quality_score；
• 两阶段= 零分门控（1 - p_zero，乘法否决）× 序数定位（1 + Σσ(oᵢ)，1~10 有序刻度）；
• 选序数回归而非 softmax/MSE，是为了尊重 1~10 的有序语义，得到平滑、单调、可解释的质量分；
• 质量分与相关性、文件角色一起，构成 L2 的三重筛选，把约 400B tokens 的高价值算法代码从 L1 中筛出来，最终让模型在 EvalPlus / MultiPL-E 上显著跑赢自然代码基线。

想深入更多细节，可以阅读中文说明 README_ZH.md 与打分器源码 scripts/scorers.py。