experiment-logbook

Compare original and translation side by side

🇺🇸

Original

English
🇨🇳

Translation

Chinese

Experiment Logbook

实验日志本

Use this skill to keep experiments scientifically interpretable. The experiment record is part of the research output.
使用此技能可确保实验具备科学可解释性。实验记录是研究产出的一部分。

Read First

必读内容

  • references/experiment-policy.md
  • references/output-contracts.md
  • references/experiment-policy.md
  • references/output-contracts.md

Before Running

运行前记录

Record:
  • hypothesis
  • editable scope
  • frozen evaluation harness
  • metric and direction
  • data version
  • time or compute budget
  • command
  • expected output
  • stop condition
记录以下内容:
  • 假设
  • 可编辑范围
  • 固定的评估框架
  • 指标及优化方向
  • 数据版本
  • 时间或计算资源预算
  • 命令
  • 预期输出
  • 停止条件

Run Record

运行记录

Update
experiments/registry.csv
and create
experiments/<run_id>.md
for non-trivial runs.
Minimum fields:
  • run_id
  • git commit
  • command
  • config
  • seed
  • dataset
  • metric
  • result
  • runtime
  • status
  • notes
更新
experiments/registry.csv
,并为重要运行创建
experiments/<run_id>.md
文件。
必填字段:
  • run_id
  • git commit
  • 命令
  • 配置
  • seed
  • 数据集
  • 指标
  • 结果
  • 运行时长
  • 状态
  • 备注

Autonomous Loop Rules

自主循环规则

  • Establish a baseline first.
  • Keep a machine-readable ledger.
  • Commit candidate changes before each run when code changes matter.
  • Keep only improvements if that is the agreed policy; otherwise record all variants.
  • Never alter the metric, data split, or evaluation harness silently.
  • Stop for human approval if the change alters scientific meaning.
  • 首先建立基准线。
  • 维护机器可读的分类账。
  • 当代码变更产生影响时,在每次运行前提交候选变更。
  • 若已约定相关规则,仅保留改进结果;否则记录所有变体。
  • 不得擅自修改指标、数据划分或评估框架。
  • 若变更会改变科学含义,需暂停并等待人工审批。

Output Separation

输出分离

  • train_outputs/
    : trusted training evidence.
  • explore_outputs/
    : exploratory variants and caveated ideas.
  • analysis_outputs/
    : result analysis and figures.
  • debug_outputs/
    : failure diagnosis.
  • train_outputs/
    : 可信的训练证据。
  • explore_outputs/
    : 探索性变体及带有说明的想法。
  • analysis_outputs/
    : 结果分析及图表。
  • debug_outputs/
    : 故障诊断记录。