Back to Details

ab-testing

Compare original and translation side by side

🇺🇸

Original

English
🇨🇳

Translation

Chinese

Experimentation & A/B Testing Skill

实验与A/B测试技能

When to Use

适用场景

  • Validating new subject lines or creative.
  • Testing segmentation hypotheses (persona vs behavior).
  • Optimizing cadence, timing, or automation triggers.
  • 验证新的主题行或创意内容。
  • 测试用户细分假设（用户画像vs行为特征）。
  • 优化发送节奏、推送时间或自动化触发条件。

Framework

执行框架

  1. Hypothesis – define expected uplift + rationale.
  2. Metric Selection – primary (open/click/conv) + guardrails (unsubs, spam).
  3. Sample Sizing – ensure stat significance (min 500 recipients per variant or use power calculator).
  4. Execution – randomize, keep variants isolated, limit simultaneous tests.
  5. Analysis – use z-test or Bayesian uplift; document learnings.
  1. 假设 – 定义预期提升效果及理论依据。
  2. 指标选择 – 核心指标（打开/点击/转化）+ 风险防控指标（退订、垃圾投诉）。
  3. 样本量确定 – 确保统计显著性（每个变体至少500名收件人，或使用功效计算器计算）。
  4. 执行 – 随机分组，保持变体相互独立，限制同时开展的测试数量。
  5. 分析 – 使用z-test或贝叶斯提升模型；记录经验结论。

Templates

模板资源

  • Experiment brief (hypothesis, segments, KPI, risk guardrails).
  • Variant table (control vs test inputs, creative asset links, owner).
  • Calculator sheet for minimum detectable effect + sample size.
  • Post-test debrief doc capturing learnings + rollout plan.
  • 实验简报（假设、细分群体、KPI、风险防控指标）。
  • 变体对照表（对照组vs测试组输入项、创意资产链接、负责人）。
  • 最小可检测效应与样本量计算表。
  • 测试后复盘文档，包含经验总结与落地推广计划。

Experiment Ideas

实验创意

  • Subject line vs preview text combos.
  • CTA placement (hero vs footer).
  • Personalization depth (basic vs dynamic modules).
  • Wait times between touches.
  • 主题行与预览文本组合测试。
  • CTA摆放位置（首屏vs页脚）。
  • 个性化程度（基础vs动态模块）。
  • 触达间隔等待时长。

Tips

小贴士

  • Run no more than two tests per journey simultaneously.
  • Recycle learnings into playbooks + automation templates.
  • Segment results by persona to catch hidden signals.
  • 每个用户旅程同时运行的测试不要超过2个。
  • 将经验沉淀到操作手册和自动化模板中。
  • 按用户画像细分测试结果，挖掘隐藏信号。