Back to Details

analyze-results

Compare original and translation side by side

🇺🇸

Original

English
🇨🇳

Translation

Chinese

Analyze Experiment Results

分析实验结果

Analyze: $ARGUMENTS
Analyze: $ARGUMENTS

Workflow

工作流程

Step 1: Locate Results

步骤1：定位结果文件

Find all relevant JSON/CSV result files:
  • Check 
    figures/
    , 
    results/
    , or project-specific output directories
  • Parse JSON results into structured data
查找所有相关的JSON/CSV结果文件：
  • 检查
    figures/
    、
    results/
    或项目特定的输出目录
  • 将JSON结果解析为结构化数据

Step 2: Build Comparison Table

步骤2：构建对比表格

Organize results by:
  • Independent variables: model type, hyperparameters, data config
  • Dependent variables: primary metric (e.g., perplexity, accuracy, loss), secondary metrics
  • Delta vs baseline: always compute relative improvement
按以下维度整理结果：
  • 自变量：模型类型、超参数、数据配置
  • 因变量：主要指标（如perplexity、accuracy、loss）、次要指标
  • 与基线的差值：务必计算相对提升幅度

Step 3: Statistical Analysis

步骤3：统计分析

  • If multiple seeds: report mean +/- std, check reproducibility
  • If sweeping a parameter: identify trends (monotonic, U-shaped, plateau)
  • Flag outliers or suspicious results
  • 若存在多个随机种子：报告均值±标准差，验证可复现性
  • 若进行参数扫描：识别趋势（单调型、U型、平台型）
  • 标记异常值或可疑结果

Step 4: Generate Insights

步骤4：生成洞察结论

For each finding, structure as:
  1. Observation: what the data shows (with numbers)
  2. Interpretation: why this might be happening
  3. Implication: what this means for the research question
  4. Next step: what experiment would test the interpretation
针对每个发现，按以下结构整理：
  1. 观察结论：数据显示的结果（附带数值）
  2. 解读分析：可能的原因
  3. 实际意义：对研究问题的影响
  4. 后续步骤：可验证该解读的实验方案

Step 5: Update Documentation

步骤5：更新文档

If findings are significant:
  • Propose updates to project notes or experiment reports
  • Draft a concise finding statement (1-2 sentences)
若发现具有显著性：
  • 建议更新项目笔记或实验报告
  • 撰写简洁的发现陈述（1-2句话）

Output Format

输出格式

Always include:
  1. Raw data table
  2. Key findings (numbered, concise)
  3. Suggested next experiments (if any)
始终包含以下内容：
  1. 原始数据表
  2. 关键发现（编号，简洁明了）
  3. 建议的后续实验（如有）