verify
Compare original and translation side by side
🇺🇸
Original
English🇨🇳
Translation
ChineseVerify
验证
Sample N isolated trajectories, then rank them (Kwok et al., arXiv:2607.05391).
One score token is an LM judge, not this method.
抽取N条独立轨迹样本,然后对其进行排序(参考Kwok等人,arXiv:2607.05391)。
此处的评分token是LM judge,而非本方法。
Flags
参数选项(Flags)
| Flag | Default | Effect |
|---|---|---|
| | Pool size N. Not inferred from the task |
| | Repeats K; swap A/B on every odd pass |
| | PPT pivots when N>3; clamp to |
| | Extra generate or revise cycles after select |
| auto | Criteria file; else write 2–4 inline |
| off | Progress only; skip generate and select |
A supplied list overrides . N is a budget, not a computed count.
--candidates| 参数选项 | 默认值 | 作用 |
|---|---|---|
| | 候选池大小N,不由任务自动推断 |
| | 重复次数K;在每一次奇数轮次交换A/B对比项 |
| | 当N>3时使用PPT基准点;取值限制在 |
| | 选择完成后额外的生成或修正循环次数 |
| auto | 判定标准文件路径;若未指定则写入2–4条内联标准 |
| off | 仅追踪进度;跳过生成和选择步骤 |
若提供候选列表,将覆盖参数。N代表预算额度,而非计算得出的数量。
--candidates1. Lock task and criteria
1. 锁定任务与判定标准
Require a task. Write 2–4 independent criteria plus a ground-truth note that
trusts observed tool output, not narration. Write that file using the
layout in .
REFERENCE.mdRecord:
task | criteria | generate | path | n/k/pivots/rounds | current | terminalDone when task and criteria are fixed, or .
BLOCKED必须指定任务。编写2–4条独立判定标准,外加一条基于事实的说明:信任观测到的工具输出,而非描述性叙述。按照中的格式编写该文件。
REFERENCE.md记录信息:
任务 | 判定标准 | 生成方式 | 路径 | n/k/基准点/轮次 | 当前状态 | 最终状态当任务与判定标准确定,或状态为(阻塞)时,此步骤完成。
BLOCKED2. Generate
2. 生成候选样本
--trackElse dispatch workers in one parallel wave. Each brief:
locked task + criteria + "one complete attempt; no siblings; no rank."
Write scope is a worktree or copy using Isolation in , never
a branch on this tree. Same-tree parallel writes are . Parent
implements nothing. No spawn: N serial attempts ().
--candidatesREFERENCE.mdBLOCKEDgenerate=serialDone when N traces are locked, or .
BLOCKED若启用:跳过此步骤。若用户已提供尝试样本,直接使用原样本。
--track否则,一次性并行启动数量的工作进程。每个进程的任务说明:
锁定的任务 + 判定标准 + "生成一次完整尝试;不生成关联样本;不进行排序。"
写入范围为工作树或通过中的隔离机制生成的副本,绝不能是当前树的分支。同树并行写入会导致(阻塞)。父进程不实现任何候选样本生成。不采用异步生成:执行N次串行尝试()。
--candidatesREFERENCE.mdBLOCKEDgenerate=serial当N条轨迹记录被锁定,或状态为(阻塞)时,此步骤完成。
BLOCKED3. Verify
3. 验证
Run candidates when a criterion is empirical. Classify all-pass / all-fail
/ swing. Skip scoring on skip classes. all-fail is unwinnable here: if
remain, consume one and return to Step 2; else .
--max-roundsALL_FAILOn swing, one criterion per comparison. N≤3: every directed pair. N>3:
clamp to , then run the PPT procedure in .
Average over C and K. Soft win . Accumulate
, .
--pivots[1, N]REFERENCE.mdp = 1/(1+exp(-(R_a-R_b)))w_ic_iScoring path (first match); pick it from :
REFERENCE.md- Logprobs at /
<score_A>:<score_B>on A–T (paper).R = E[φ(v)] - No logprobs, user named a logprob verifier: two-stage (paper B.6).
- This harness only: emit A–T, map, average over K and C. Not Eq. 3.1. Still pairwise, decomposed, swapped. Never a 1–10.
--trackDone when each scored candidate has , or a skip class applies.
w_i/c_i若判定标准为经验性标准,则运行候选样本。将结果分类为:全通过/全失败/摇摆(swing)。对跳过类别的样本不进行评分。全失败在此场景下无法胜出:若仍有剩余次数,则消耗一次并返回步骤2;否则标记为。
--max-roundsALL_FAIL对于摇摆类样本,每次对比使用一条判定标准。当N≤3时:对所有有向配对进行对比。当N>3时:将限制在范围内,然后执行中的PPT流程。对C和K取平均值。软胜出概率。累积计算、。
--pivots[1, N]REFERENCE.mdp = 1/(1+exp(-(R_a-R_b)))w_ic_i评分路径(匹配第一条即可);从中选择:
REFERENCE.md- 在/
<score_A>处的对数概率:<score_B>基于A–T(参考论文)。R = E[φ(v)] - 无对数概率,用户指定了对数概率验证器:采用两阶段流程(参考论文附录B.6)。
- 仅本工具支持:输出A–T,映射,对K和C取平均值。不采用公式3.1。 仍采用两两对比、分解、交换的方式。绝不使用1–10分制。
若启用:将前缀与"是否已完成?"进行评分;不涉及关联样本。
--track当每个已评分的候选样本都有值,或适用跳过类别时,此步骤完成。
w_i/c_i4. Select
4. 选择最优样本
--trackargmax w_i/c_i若启用或全失败:无胜出者。全通过:选择索引最小的通过样本。摇摆类:选择对应的样本(索引作为平局决胜项)。当记录下该选择时,此步骤完成。
--trackargmax w_i/c_i5. Revise or stop
5. 修正或终止
Stop on: all-pass; and score ≥ 0.8 with observed checks;
exhausted (default: no revise); no score gain. Else revise
only the swing winner on its weakest criteria and return to Step 3.
--track--max-roundsDone when a stop rule fires.
在以下情况终止:全通过;启用且评分≥0.8并通过观测检查;次数耗尽(默认:不进行修正);评分无提升。否则,仅针对摇摆类胜出样本在其最弱的判定标准上进行修正,然后返回步骤3。
--track--max-rounds当终止规则触发时,此步骤完成。
6. Report
6. 生成报告
criteria | generate | path | classify | ranking w_i/c_i | winner | rounds | stop | terminalSUCCESSALL_PASSALL_FAILNO_IMPROVEMENTBLOCKED报告内容:。最终状态包括、、、、。
判定标准 | 生成方式 | 路径 | 分类结果 | 排序w_i/c_i | 胜出者 | 轮次 | 终止原因 | 最终状态SUCCESSALL_PASSALL_FAILNO_IMPROVEMENTBLOCKEDRationalizations
常见误区与纠正
| Excuse | Reality |
|---|---|
| "I'll just do it myself" | Parent implements zero candidates. Fan out N. |
| "N should match difficulty" | N is |
| "Score them 1-10" | Discrete judge. Trust observed execution. |
| 借口 | 实际要求 |
|---|---|
| "我自己来做就行" | 父进程不生成任何候选样本。需分发N个任务并行处理。 |
| "N应与任务难度匹配" | N由 |
| "用1-10分制评分" | 采用离散判定器。信任观测到的执行结果。 |
Red flags
警示信号
Parent wrote a candidate; same-tree or branch-as-parallel workers; N inferred; a 1–10; no swing ; no A/B swap.
w_i/c_i父进程生成了候选样本;使用同树或分支作为并行工作进程;N是推断得出的;使用1–10分制;无摇摆类样本的值;未进行A/B交换。
w_i/c_i