verify

Compare original and translation side by side

🇺🇸

Original

English
🇨🇳

Translation

Chinese

Verify

验证

Sample N isolated trajectories, then rank them (Kwok et al., arXiv:2607.05391). One score token is an LM judge, not this method.
抽取N条独立轨迹样本,然后对其进行排序(参考Kwok等人,arXiv:2607.05391)。 此处的评分token是LM judge,而非本方法。

Flags

参数选项(Flags)

FlagDefaultEffect
--candidates <n>
3
Pool size N. Not inferred from the task
--evals <k>
2
Repeats K; swap A/B on every odd pass
--pivots <k>
2
PPT pivots when N>3; clamp to
[1, N]
--max-rounds <n>
0
Extra generate or revise cycles after select
--criteria <path>
autoCriteria file; else write 2–4 inline
--track
offProgress only; skip generate and select
A supplied list overrides
--candidates
. N is a budget, not a computed count.
参数选项默认值作用
--candidates <n>
3
候选池大小N,不由任务自动推断
--evals <k>
2
重复次数K;在每一次奇数轮次交换A/B对比项
--pivots <k>
2
当N>3时使用PPT基准点;取值限制在
[1, N]
范围内
--max-rounds <n>
0
选择完成后额外的生成或修正循环次数
--criteria <path>
auto判定标准文件路径;若未指定则写入2–4条内联标准
--track
off仅追踪进度;跳过生成和选择步骤
若提供候选列表,将覆盖
--candidates
参数。N代表预算额度,而非计算得出的数量。

1. Lock task and criteria

1. 锁定任务与判定标准

Require a task. Write 2–4 independent criteria plus a ground-truth note that trusts observed tool output, not narration. Write that file using the layout in
REFERENCE.md
.
Record:
task | criteria | generate | path | n/k/pivots/rounds | current | terminal
Done when task and criteria are fixed, or
BLOCKED
.
必须指定任务。编写2–4条独立判定标准,外加一条基于事实的说明:信任观测到的工具输出,而非描述性叙述。按照
REFERENCE.md
中的格式编写该文件。
记录信息:
任务 | 判定标准 | 生成方式 | 路径 | n/k/基准点/轮次 | 当前状态 | 最终状态
当任务与判定标准确定,或状态为
BLOCKED
(阻塞)时,此步骤完成。

2. Generate

2. 生成候选样本

--track
: skip. If the user supplied attempts, use them unchanged.
Else dispatch
--candidates
workers in one parallel wave. Each brief: locked task + criteria + "one complete attempt; no siblings; no rank." Write scope is a worktree or copy using Isolation in
REFERENCE.md
, never a branch on this tree. Same-tree parallel writes are
BLOCKED
. Parent implements nothing. No spawn: N serial attempts (
generate=serial
).
Done when N traces are locked, or
BLOCKED
.
若启用
--track
:跳过此步骤。若用户已提供尝试样本,直接使用原样本。
否则,一次性并行启动
--candidates
数量的工作进程。每个进程的任务说明: 锁定的任务 + 判定标准 + "生成一次完整尝试;不生成关联样本;不进行排序。" 写入范围为工作树或通过
REFERENCE.md
中的隔离机制生成的副本,绝不能是当前树的分支。同树并行写入会导致
BLOCKED
(阻塞)。父进程不实现任何候选样本生成。不采用异步生成:执行N次串行尝试(
generate=serial
)。
当N条轨迹记录被锁定,或状态为
BLOCKED
(阻塞)时,此步骤完成。

3. Verify

3. 验证

Run candidates when a criterion is empirical. Classify all-pass / all-fail / swing. Skip scoring on skip classes. all-fail is unwinnable here: if
--max-rounds
remain, consume one and return to Step 2; else
ALL_FAIL
.
On swing, one criterion per comparison. N≤3: every directed pair. N>3: clamp
--pivots
to
[1, N]
, then run the PPT procedure in
REFERENCE.md
. Average over C and K. Soft win
p = 1/(1+exp(-(R_a-R_b)))
. Accumulate
w_i
,
c_i
.
Scoring path (first match); pick it from
REFERENCE.md
:
  1. Logprobs at
    <score_A>
    /
    <score_B>
    :
    R = E[φ(v)]
    on A–T (paper).
  2. No logprobs, user named a logprob verifier: two-stage (paper B.6).
  3. This harness only: emit A–T, map, average over K and C. Not Eq. 3.1. Still pairwise, decomposed, swapped. Never a 1–10.
--track
: score the prefix against "already complete?"; no siblings.
Done when each scored candidate has
w_i/c_i
, or a skip class applies.
若判定标准为经验性标准,则运行候选样本。将结果分类为:全通过/全失败/摇摆(swing)。对跳过类别的样本不进行评分。全失败在此场景下无法胜出:若
--max-rounds
仍有剩余次数,则消耗一次并返回步骤2;否则标记为
ALL_FAIL
。
对于摇摆类样本,每次对比使用一条判定标准。当N≤3时:对所有有向配对进行对比。当N>3时:将
--pivots
限制在
[1, N]
范围内,然后执行
REFERENCE.md
中的PPT流程。对C和K取平均值。软胜出概率
p = 1/(1+exp(-(R_a-R_b)))
。累积计算
w_i
、
c_i
。
评分路径(匹配第一条即可);从
REFERENCE.md
中选择:
  1. 在
    <score_A>
    /
    <score_B>
    处的对数概率:
    R = E[φ(v)]
    基于A–T(参考论文)。
  2. 无对数概率,用户指定了对数概率验证器:采用两阶段流程(参考论文附录B.6)。
  3. 仅本工具支持:输出A–T,映射,对K和C取平均值。不采用公式3.1。 仍采用两两对比、分解、交换的方式。绝不使用1–10分制。
若启用
--track
:将前缀与"是否已完成?"进行评分;不涉及关联样本。
当每个已评分的候选样本都有
w_i/c_i
值,或适用跳过类别时,此步骤完成。

4. Select

4. 选择最优样本

--track
or all-fail: no winner. all-pass: lowest-index passer. swing:
argmax w_i/c_i
(index tie-break). Done when that choice is recorded.
若启用
--track
或全失败:无胜出者。全通过:选择索引最小的通过样本。摇摆类:选择
argmax w_i/c_i
对应的样本(索引作为平局决胜项)。当记录下该选择时,此步骤完成。

5. Revise or stop

5. 修正或终止

Stop on: all-pass;
--track
and score ≥ 0.8 with observed checks;
--max-rounds
exhausted (default: no revise); no score gain. Else revise only the swing winner on its weakest criteria and return to Step 3.
Done when a stop rule fires.
在以下情况终止:全通过;启用
--track
且评分≥0.8并通过观测检查;
--max-rounds
次数耗尽(默认:不进行修正);评分无提升。否则,仅针对摇摆类胜出样本在其最弱的判定标准上进行修正,然后返回步骤3。
当终止规则触发时,此步骤完成。

6. Report

6. 生成报告

criteria | generate | path | classify | ranking w_i/c_i | winner | rounds | stop | terminal
.
SUCCESS
,
ALL_PASS
,
ALL_FAIL
,
NO_IMPROVEMENT
,
BLOCKED
.
报告内容:
判定标准 | 生成方式 | 路径 | 分类结果 | 排序w_i/c_i | 胜出者 | 轮次 | 终止原因 | 最终状态
。最终状态包括
SUCCESS
、
ALL_PASS
、
ALL_FAIL
、
NO_IMPROVEMENT
、
BLOCKED
。

Rationalizations

常见误区与纠正

ExcuseReality
"I'll just do it myself"Parent implements zero candidates. Fan out N.
"N should match difficulty"N is
--candidates
. Do not invent it.
"Score them 1-10"Discrete judge. Trust observed execution.
借口实际要求
"我自己来做就行"父进程不生成任何候选样本。需分发N个任务并行处理。
"N应与任务难度匹配"N由
--candidates
参数指定。不得自行设定。
"用1-10分制评分"采用离散判定器。信任观测到的执行结果。

Red flags

警示信号

Parent wrote a candidate; same-tree or branch-as-parallel workers; N inferred; a 1–10; no swing
w_i/c_i
; no A/B swap.
父进程生成了候选样本;使用同树或分支作为并行工作进程;N是推断得出的;使用1–10分制;无摇摆类样本的
w_i/c_i
值;未进行A/B交换。