☰
测量工具信效度报告也要双版本烟测:三列表 + A/B 验收表
2026/10/14 8:21:49 网站建设 项目流程


千笔-AIWritePaper · https://www.aiwritepaper.com

信效度段最常见的「假完成」有三种:一是空话,即「量表信效度良好」;二是只抄原作者 Cronbach α,读者不知道本样本算出多少;三是删了题却不重算,或把 α 高直接写成「效度好」。更危险的是伪完成:产物栏写得像样,声明却仍用原量表信度冒充本样本,或从未给出效度证据类型。

本文把测量工具信效度报告当成可烟测对象:先用三列表「报告要素、写法动作、可核对产物(条目表/复算脚本)」当真源,再对空话版 A、可核对版 B 与三个伪 B 跑验收。量表名、题项与 α 均为虚构,脚本只依赖标准库(_w/reliability-validity-ab/)。


图:上排为报告要素;下排为空话 A、可核对 B 与三种伪 B,绿色仅 B。

目标说明

读完你应能独立完成四件事。

  1. 为量表来源与版本、翻译回译、本样本信度、效度证据类型、修订条目填三列。
  2. 用同一套验收规则区分空话 A 与可核对 B。
  3. 识别三种伪 B:只报原量表信度、删题后不重算、α 高当效度。
  4. 留下 CSV 与compute_alpha.py,改方法段时复跑。

适用与边界

适合:问卷/量表研究正在写测量段落;审稿意见指出「只有原作者 α」「效度类型不清」;测量与统计作者分头改方法。

不适合:用烟测证明量表选对了;也不替代正式的验证性因子分析签核。三列表只核对「报告是否可打开复算」。示例中本样本 α=0.754(6 题)、删 item6 后 α=0.746、原作者 α=0.91 为虚构。

与「样本量论证」「缺失脱落」「统计主张」的差别:那些管设计 N、缺失机制与结果句;本篇专管测量工具层的信度复算与效度类型披露。

三列表:信效度报告的真源

报告要素写法动作可核对产物
量表来源与版本写名称、版本、来源 IDscale_sources.csv + params_gold.json
翻译回译写明正译/回译(若适用)params_gold.json
本样本信度报告本样本 α 或 ω,可复算compute_alpha.py + item_scores.csv
效度证据类型写出内容/结构/收敛/效标等类型validity_evidence.csv
修订条目删题或改题须重算并列表item_map.csv

规则三条:本样本信度必须能复算;原作者 α 只能当背景;效度必须有类型,不能用「α 高」代替。缺任何一列,验收会在对应行判 fail。

虚构对照:FOCUS-6 v1.2(Lee2021),中文正译回译;N=40,6 题 α=0.754;效度含内容与收敛(与 ReferenceMood r=0.52);本分析未删题。

双版本烟测:实跑结果

脚本检查空话、是否只引原作者 α、产物是否可打开、删题后是否重算、是否把 α 当效度。输出原样:

A 空话版 条目=2 问题=4 FAIL | 空话「信效度良好」;三列表动作/产物为空;只引原作者α、无本样本复算;无本样本信度复算产物 B 可核对版 条目=5 问题=0 PASS | - 伪B1 只报原量表信度 条目=2 问题=1 FAIL | 只报原量表信度、无本样本α 伪B2 删题后不重算 条目=3 问题=1 FAIL | 删题后不重算信度 伪B3 α高当效度 条目=2 问题=1 FAIL | 把α高当作效度证据 验收探针: 复算本样本α=0.754 (k=6) 删item6后α=0.746 (k=5) | 原作者α=0.91 | 可打开=['compute_alpha.py', 'item_map.csv', 'item_scores.csv', 'params_gold.json', 'scale_sources.csv', 'validity_correlations.csv', 'validity_evidence.csv']

读法:A 堆砌「信效度良好」,只引原作者 α=0.91,产物留空。B 写明来源版本、回译、本样本 α=0.754 可复算,并列出效度类型。伪 B1 明确未算本样本。伪 B2 删 item6 仍报全量表 α。伪 B3 用 α 高证明「效度良好」。

A/B 验收表

验收项版本 A版本 B判定依据
无空话套话failpass无「信效度良好」空转
本样本信度可复算failpasscompute_alpha 对齐声明
产物可打开failpass脚本/条目/证据表
非仅原作者 αfailpass原 α 不作本样本替代
效度有类型不适用pass内容/收敛等可核对
删题后重算不适用pass修订则 α 随 k 变
审稿人能独立核对不能能只看三列表+脚本

失败样本:三种伪 B

  • 伪 B1 只报原量表信度:正文用 Lee2021 的 α=0.91 充当本样本,未跑compute_alpha.py。
  • 伪 B2 删题后不重算:删除 item6 后仍写 α=0.754,复算 5 题应为 0.746。
  • 伪 B3 α 高当效度:有本样本 α,却写「因此效度良好」,无内容/结构/效标类型。

失败含义速查

现象含义下一步
空话 + 只引原 α无可核对本样本算本样本并挂脚本
产物为空审稿人无法复算指向 item_scores 与脚本
删题不重算信度与条目集脱节按保留题重算
α 当效度信度冒充效度补效度证据类型与表
无版本/回译工具身份不清补来源与翻译说明

最小验收逻辑

VAGUE=re.compile(r"信效度良好|效度良好")ONLY_ORIGINAL=re.compile(r"原作者报告|未计算本样本")ALPHA_AS_VALIDITY=re.compile(r"因此量表效度|把信度系数高当作效度")# 本样本 α 必须等于 compute_alpha.py 输出

完整脚本见_w/reliability-validity-ab/reliability_validity_ab.py。若改报 McDonald ω,替换复算脚本并同步金标准即可,烟测结构不变。

常见误判

  • 「原作者 α 已经很高」:不能代替本样本。
  • 「删一题影响不大」:第伪 B2 专拦不重算。
  • 「α>0.7 就是有效」:α 是信度;效度要另有类型与证据。
  • 「有相关 r 就不用写类型名」:声明段仍要写明收敛/效标等类型,并指向表。

验收清单

  • 三列表五要素齐全,产物指向 sources / scores / compute_alpha / validity 表。
  • 声明中的本样本 α 与compute_alpha.py输出逐字一致。
  • 原作者 α 若出现,已标明不作本样本替代。
  • 效度证据写出类型,并能打开对应 CSV。
  • 若有删题,声明 α 与删后复算一致,item_map 同步。
  • CI 跑reliability_validity_ab.py:A 与伪 B FAIL,B PASS。

把原作者 α 与本样本 α 分开写的理由

只写一个 α 时,审稿人无法判断它来自手册还是本样本。声明段应同时出现:来源版本、本样本 N 与 k、本样本 α、(可选)原作者 α 作背景。虚构例里原作者 0.91 与本样本 0.754 并存,前者不进复算门禁的「本样本」栏。

何时需要换复算脚本

Cronbach α、ω、评分者一致性,公式不同,但烟测结构相同:得分进 CSV,复算进脚本,声明只引用脚本输出。换指标时同步更新伪 B2 的「修订后重算」定义,并重录金标准。不要在旧 α 脚本上硬套 ω 数字。

附录与方法段数字一致

若期刊要求把题项与 α 计算放进附录,附录数字必须与方法段、金标准 JSON 三处一致。烟测可同时扫方法段与附录,避免「正文漂亮、附录旧数」。把附录文件名写进三列表产物列,可与compute_alpha.py并列接受检查。

当天 25 分钟落地

  1. 5 分钟:填三列表,锁量表版本与是否回译。
  2. 8 分钟:导出题项得分,跑compute_alpha.py得到本样本 α。
  3. 7 分钟:补效度证据类型表,声明段数字改成复算结果。
  4. 5 分钟:跑reliability_validity_ab.py,确认 A/伪 B FAIL、B PASS。

跑烟测前确认item_scores.csv与compute_alpha.py同目录:缺文件应报错;把空话版判成 PASS 视为门禁失效。归档时连同validity_evidence.csv一并提交,便于换机器复现。

踩坑

  • 把手册里的 α 抄进「本研究信度」。
  • 探索性删题后仍用全量表 α。
  • 只写「效度尚可」无类型。
  • 题项文件与声明 N、k 不一致。
  • 参数 JSON 与声明段各改各的,无 CI 复跑。

与样本量/主张烟测如何连用

先冻结测量工具参数与本样本 α,再写结果主张;样本量篇管招募 N,本篇管量表在本样本上的计量学表现。三套烟测共享「可打开产物」纪律,探针不同:这里看 α 复算与效度类型,不看功效公式,也不看结果 CI 措辞。

复算链怎么写进声明段

建议固定四句,顺序不要打乱。第一句:量表名称、版本与来源 ID。第二句:翻译回译(若适用)。第三句:本样本 N、题数、α(或 ω),并点名compute_alpha.py。第四句:效度证据类型与可打开表。原作者 α 如需出现,单独写成背景句,并明示「不作本样本替代」。审稿人打开题项得分与脚本,应能核对第三句数字。

伪 B 夹具如何当回归测试

把 A、B、伪 B1至B3 五份样本留在_w/reliability-validity-ab/,每次改复算脚本或题项文件后整组重跑。期望不变:A 与三个伪 B 保持 FAIL,B 保持 PASS。若改公式导致 B 变 FAIL,先修声明数字,再考虑更新夹具。不要为了让伪 B「好看」而放宽探针。

协作分工

测量负责人锁量表版本、回译记录与条目表;统计负责人锁本样本 α 复算脚本;稿件作者只负责把三列表与声明段抄成与 JSON 一致的中文。任何人删题,必须触发重算并改声明,禁止只改一处。

事前锁定与中期修订

测量工具段落一次性写清后应锁定题项集。若中期因方案修订必须删题或换量表版本,应开新版本参数文件,并在方法段声明「修订前后两套 α」,禁止覆盖旧 JSON 使人无法追溯。伪 B2 专拦「删了题却沿用旧 α」这一类覆盖。

上线前用 A/B/伪 B 五份夹具回归,确认终裁分布稳定:仅 B 为 PASS。把自己的正文化入同目录后,再扫一轮声明段数字是否仍与复算一致。 团队可将五要素勾进 PR 模板:缺本样本 α、缺效度类型、删题未重算任一项红灯即不得合并测量段。

若把信效度段落导出为人类可读报告,报告中的 α 与效度类型也必须带来源文件名,避免「报告层」再次悬空。脚本闸门通过后,再生成报告,禁止先写漂亮报告后补题项得分。 测量段与结果段分开归档时,信效度 CSV 仍应能独立打开复算。 例行投稿检查把信效度烟测与样本量、主张烟测排在同一周,成本通常低于被审稿人追问「本样本 α 在哪」之后再返工。

总结

信效度报告可以空话,也可以伪完成。三列表把来源版本、回译、本样本信度、效度类型、修订条目钉成可核对真源;A/B 烟测只放行能复算的 B,并拦住只报原 α、删题不重算与 α 冒充效度。虚构例中本样本 α=0.754,可由标准库脚本复现。改方法声明时复跑同一 CSV。凭「良好」收束过不了烟测。

信效度验收表与禁区归档可用千笔-AIWritePaper 整理;去掉产品名后,三列表与脚本仍可独立使用。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询