mandela

目标

mandela

工作流程

1. 确定验证对象（评估/指标/实验/保留数据集/“验证成效的方式”）。明确其组成部分——即扮演模型、评分器、设计者、数据集的角色。
2. 提出核心问题：外部真实数据是否独立输入？
3. 将验证对象与以下所有8种模式进行比对（部分模式仅适用于特定组件——如人类受试者、评分器）；仅报告触发的模式，并注明每种模式的名称。
4. 为每个触发的模式提供基于独立真实数据的修复方案。

8种泄露模式

1. 回忆而非推理——复述已记忆的答案，而非实际推导得出；系统早已知道它本应计算的结果。
2. 错误的零假设——移除了表面标签但未移除系统实际利用的底层信号的消融实验，因此“对照组”仍存在泄露。
3. 共同幻觉——两个组件互相验证；将循环逻辑转化为数值结果。
4. 同义反复——评分器为自己划分的分组打分。
5. 验证者=设计者——披着保留数据集外衣的私有、不可复现的流程。
6. 共享池偏差——训练集和保留数据集来自同一标注者池，因此同一偏差会进入双方。
7. 框架注入——向受试者直接提供假设的问题。
8. 需求特征——被测量的受试者知道自己正在被测量。

规则

• 双重陷阱：即使对输出值进行盲处理，仍可能泄露收集流程。
• 仅可读——指出泄露问题和独立修复方案；不要重写实验。

验证

1. 对自身应用模式#3–#5：你是否在为自己划分的分组打分（同义反复，#4）？验证者是否就是设计者（#5）？你的结论是否与设计本身的主张构成共同幻觉（#3）？
2. 未参与审计的读者能否仅从引用的证据得出你的结论——即是否基于独立真实数据？
3. 报告应指出根源问题，而非罗列问题清单。