千笔-AIWritePaper · https://www.aiwritepaper.com
信效度段最常见的「假完成」有三种:一是空话,即「量表信效度良好」;二是只抄原作者 Cronbach α,读者不知道本样本算出多少;三是删了题却不重算,或把 α 高直接写成「效度好」。更危险的是伪完成:产物栏写得像样,声明却仍用原量表信度冒充本样本,或从未给出效度证据类型。
本文把测量工具信效度报告当成可烟测对象:先用三列表「报告要素、写法动作、可核对产物(条目表/复算脚本)」当真源,再对空话版 A、可核对版 B 与三个伪 B 跑验收。量表名、题项与 α 均为虚构,脚本只依赖标准库(_w/reliability-validity-ab/)。
图:上排为报告要素;下排为空话 A、可核对 B 与三种伪 B,绿色仅 B。
目标说明
读完你应能独立完成四件事。
- 为量表来源与版本、翻译回译、本样本信度、效度证据类型、修订条目填三列。
- 用同一套验收规则区分空话 A 与可核对 B。
- 识别三种伪 B:只报原量表信度、删题后不重算、α 高当效度。
- 留下 CSV 与
compute_alpha.py,改方法段时复跑。
适用与边界
适合:问卷/量表研究正在写测量段落;审稿意见指出「只有原作者 α」「效度类型不清」;测量与统计作者分头改方法。
不适合:用烟测证明量表选对了;也不替代正式的验证性因子分析签核。三列表只核对「报告是否可打开复算」。示例中本样本 α=0.754(6 题)、删 item6 后 α=0.746、原作者 α=0.91 为虚构。
与「样本量论证」「缺失脱落」「统计主张」的差别:那些管设计 N、缺失机制与结果句;本篇专管测量工具层的信度复算与效度类型披露。
三列表:信效度报告的真源
| 报告要素 | 写法动作 | 可核对产物 |
|---|---|---|
| 量表来源与版本 | 写名称、版本、来源 ID | scale_sources.csv + params_gold.json |
| 翻译回译 | 写明正译/回译(若适用) | params_gold.json |
| 本样本信度 | 报告本样本 α 或 ω,可复算 | compute_alpha.py + item_scores.csv |
| 效度证据类型 | 写出内容/结构/收敛/效标等类型 | validity_evidence.csv |
| 修订条目 | 删题或改题须重算并列表 | item_map.csv |
规则三条:本样本信度必须能复算;原作者 α 只能当背景;效度必须有类型,不能用「α 高」代替。缺任何一列,验收会在对应行判 fail。
虚构对照:FOCUS-6 v1.2(Lee2021),中文正译回译;N=40,6 题 α=0.754;效度含内容与收敛(与 ReferenceMood r=0.52);本分析未删题。
双版本烟测:实跑结果
脚本检查空话、是否只引原作者 α、产物是否可打开、删题后是否重算、是否把 α 当效度。输出原样:
A 空话版 条目=2 问题=4 FAIL | 空话「信效度良好」;三列表动作/产物为空;只引原作者α、无本样本复算;无本样本信度复算产物 B 可核对版 条目=5 问题=0 PASS | - 伪B1 只报原量表信度 条目=2 问题=1 FAIL | 只报原量表信度、无本样本α 伪B2 删题后不重算 条目=3 问题=1 FAIL | 删题后不重算信度 伪B3 α高当效度 条目=2 问题=1 FAIL | 把α高当作效度证据 验收探针: 复算本样本α=0.754 (k=6) 删item6后α=0.746 (k=5) | 原作者α=0.91 | 可打开=['compute_alpha.py', 'item_map.csv', 'item_scores.csv', 'params_gold.json', 'scale_sources.csv', 'validity_correlations.csv', 'validity_evidence.csv']读法:A 堆砌「信效度良好」,只引原作者 α=0.91,产物留空。B 写明来源版本、回译、本样本 α=0.754 可复算,并列出效度类型。伪 B1 明确未算本样本。伪 B2 删 item6 仍报全量表 α。伪 B3 用 α 高证明「效度良好」。
A/B 验收表
| 验收项 | 版本 A | 版本 B | 判定依据 |
|---|---|---|---|
| 无空话套话 | fail | pass | 无「信效度良好」空转 |
| 本样本信度可复算 | fail | pass | compute_alpha 对齐声明 |
| 产物可打开 | fail | pass | 脚本/条目/证据表 |
| 非仅原作者 α | fail | pass | 原 α 不作本样本替代 |
| 效度有类型 | 不适用 | pass | 内容/收敛等可核对 |
| 删题后重算 | 不适用 | pass | 修订则 α 随 k 变 |
| 审稿人能独立核对 | 不能 | 能 | 只看三列表+脚本 |
失败样本:三种伪 B
- 伪 B1 只报原量表信度:正文用 Lee2021 的 α=0.91 充当本样本,未跑
compute_alpha.py。 - 伪 B2 删题后不重算:删除 item6 后仍写 α=0.754,复算 5 题应为 0.746。
- 伪 B3 α 高当效度:有本样本 α,却写「因此效度良好」,无内容/结构/效标类型。
失败含义速查
| 现象 | 含义 | 下一步 |
|---|---|---|
| 空话 + 只引原 α | 无可核对本样本 | 算本样本并挂脚本 |
| 产物为空 | 审稿人无法复算 | 指向 item_scores 与脚本 |
| 删题不重算 | 信度与条目集脱节 | 按保留题重算 |
| α 当效度 | 信度冒充效度 | 补效度证据类型与表 |
| 无版本/回译 | 工具身份不清 | 补来源与翻译说明 |
最小验收逻辑
VAGUE=re.compile(r"信效度良好|效度良好")ONLY_ORIGINAL=re.compile(r"原作者报告|未计算本样本")ALPHA_AS_VALIDITY=re.compile(r"因此量表效度|把信度系数高当作效度")# 本样本 α 必须等于 compute_alpha.py 输出完整脚本见_w/reliability-validity-ab/reliability_validity_ab.py。若改报 McDonald ω,替换复算脚本并同步金标准即可,烟测结构不变。
常见误判
- 「原作者 α 已经很高」:不能代替本样本。
- 「删一题影响不大」:第伪 B2 专拦不重算。
- 「α>0.7 就是有效」:α 是信度;效度要另有类型与证据。
- 「有相关 r 就不用写类型名」:声明段仍要写明收敛/效标等类型,并指向表。
验收清单
- 三列表五要素齐全,产物指向 sources / scores / compute_alpha / validity 表。
- 声明中的本样本 α 与
compute_alpha.py输出逐字一致。 - 原作者 α 若出现,已标明不作本样本替代。
- 效度证据写出类型,并能打开对应 CSV。
- 若有删题,声明 α 与删后复算一致,item_map 同步。
- CI 跑
reliability_validity_ab.py:A 与伪 B FAIL,B PASS。
把原作者 α 与本样本 α 分开写的理由
只写一个 α 时,审稿人无法判断它来自手册还是本样本。声明段应同时出现:来源版本、本样本 N 与 k、本样本 α、(可选)原作者 α 作背景。虚构例里原作者 0.91 与本样本 0.754 并存,前者不进复算门禁的「本样本」栏。
何时需要换复算脚本
Cronbach α、ω、评分者一致性,公式不同,但烟测结构相同:得分进 CSV,复算进脚本,声明只引用脚本输出。换指标时同步更新伪 B2 的「修订后重算」定义,并重录金标准。不要在旧 α 脚本上硬套 ω 数字。
附录与方法段数字一致
若期刊要求把题项与 α 计算放进附录,附录数字必须与方法段、金标准 JSON 三处一致。烟测可同时扫方法段与附录,避免「正文漂亮、附录旧数」。把附录文件名写进三列表产物列,可与compute_alpha.py并列接受检查。
当天 25 分钟落地
- 5 分钟:填三列表,锁量表版本与是否回译。
- 8 分钟:导出题项得分,跑
compute_alpha.py得到本样本 α。 - 7 分钟:补效度证据类型表,声明段数字改成复算结果。
- 5 分钟:跑
reliability_validity_ab.py,确认 A/伪 B FAIL、B PASS。
跑烟测前确认item_scores.csv与compute_alpha.py同目录:缺文件应报错;把空话版判成 PASS 视为门禁失效。归档时连同validity_evidence.csv一并提交,便于换机器复现。
踩坑
- 把手册里的 α 抄进「本研究信度」。
- 探索性删题后仍用全量表 α。
- 只写「效度尚可」无类型。
- 题项文件与声明 N、k 不一致。
- 参数 JSON 与声明段各改各的,无 CI 复跑。
与样本量/主张烟测如何连用
先冻结测量工具参数与本样本 α,再写结果主张;样本量篇管招募 N,本篇管量表在本样本上的计量学表现。三套烟测共享「可打开产物」纪律,探针不同:这里看 α 复算与效度类型,不看功效公式,也不看结果 CI 措辞。
复算链怎么写进声明段
建议固定四句,顺序不要打乱。第一句:量表名称、版本与来源 ID。第二句:翻译回译(若适用)。第三句:本样本 N、题数、α(或 ω),并点名compute_alpha.py。第四句:效度证据类型与可打开表。原作者 α 如需出现,单独写成背景句,并明示「不作本样本替代」。审稿人打开题项得分与脚本,应能核对第三句数字。
伪 B 夹具如何当回归测试
把 A、B、伪 B1至B3 五份样本留在_w/reliability-validity-ab/,每次改复算脚本或题项文件后整组重跑。期望不变:A 与三个伪 B 保持 FAIL,B 保持 PASS。若改公式导致 B 变 FAIL,先修声明数字,再考虑更新夹具。不要为了让伪 B「好看」而放宽探针。
协作分工
测量负责人锁量表版本、回译记录与条目表;统计负责人锁本样本 α 复算脚本;稿件作者只负责把三列表与声明段抄成与 JSON 一致的中文。任何人删题,必须触发重算并改声明,禁止只改一处。
事前锁定与中期修订
测量工具段落一次性写清后应锁定题项集。若中期因方案修订必须删题或换量表版本,应开新版本参数文件,并在方法段声明「修订前后两套 α」,禁止覆盖旧 JSON 使人无法追溯。伪 B2 专拦「删了题却沿用旧 α」这一类覆盖。
上线前用 A/B/伪 B 五份夹具回归,确认终裁分布稳定:仅 B 为 PASS。把自己的正文化入同目录后,再扫一轮声明段数字是否仍与复算一致。 团队可将五要素勾进 PR 模板:缺本样本 α、缺效度类型、删题未重算任一项红灯即不得合并测量段。
若把信效度段落导出为人类可读报告,报告中的 α 与效度类型也必须带来源文件名,避免「报告层」再次悬空。脚本闸门通过后,再生成报告,禁止先写漂亮报告后补题项得分。 测量段与结果段分开归档时,信效度 CSV 仍应能独立打开复算。 例行投稿检查把信效度烟测与样本量、主张烟测排在同一周,成本通常低于被审稿人追问「本样本 α 在哪」之后再返工。
总结
信效度报告可以空话,也可以伪完成。三列表把来源版本、回译、本样本信度、效度类型、修订条目钉成可核对真源;A/B 烟测只放行能复算的 B,并拦住只报原 α、删题不重算与 α 冒充效度。虚构例中本样本 α=0.754,可由标准库脚本复现。改方法声明时复跑同一 CSV。凭「良好」收束过不了烟测。
信效度验收表与禁区归档可用千笔-AIWritePaper 整理;去掉产品名后,三列表与脚本仍可独立使用。