AB测试应优先用双样本t检验（ttest_ind），因总体标准差未知且样本常不满足z检验条件；二值指标用proportions_ztest更稳健；需先按用户聚合再检验以保证独立性。
AB测试该用t检验还是z检验？看样本量和方差是否已知
绝大多数AB测试场景下，你该用ttest_ind（双样本t检验），而不是z检验。因为真实业务数据的总体标准差从来不知道，样本量也常不够大（30且近似正态——这两个条件在点击率、转化率这类偏态分布指标上基本不成立。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 用
scipy.stats.ttest_ind，注意设equal_var=False（默认True会强行假设两组方差相等，但AB组方差常差异明显） - 如果指标是二值型（如是否下单），优先用
proportions_ztest（来自statsmodels.stats.proportion），它专为比例设计，比t检验更稳健 - 别直接对原始点击流做t检验——先按用户/会话聚合，再计算均值，否则违背独立性假设
为什么p值
p值只告诉你“差异不太可能纯属随机”，不等于“这个提升值得推全”。比如10万用户中，CTR从5.00%升到5.05%，p
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 必须提前设定最小可观测效应（
min_detectable_effect），并用它反推所需样本量，而不是“跑够7天就停” - 同时看
effect_size（如Cohen’s d或相对提升率），不是只盯p值；用statsmodels.stats.api.ztest可一并返回置信区间 - 如果同时检验多个指标（如CTR、停留时长、付费率），必须校正显著性水平，比如用
statsmodels.stats.multitest.multipletests做Bonferroni或FDR校正
AB测试分组不均衡怎么办？不能简单删掉“异常”流量
分组后发现A组10234人、B组9876人，看起来差不多，但若B组恰好多出一批凌晨低活用户，均值偏差就可能掩盖真实效应。强行截断或重抽样会破坏随机性，引入选择偏差。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 检查分流日志，确认
user_id哈希逻辑是否一致，有没有缓存导致同一用户反复进A组 - 用
scipy.stats.chi2_contingency检验分组是否与关键协变量（如新老用户、地域）独立；若不独立，需分层分析或加协变量回归 - 上线前必须跑
pre-test：分流后、实验前，验证两组基线指标（如昨日DAU、平均PV）无统计差异（p>0.1）
Python里怎么快速算置信区间？别手写公式，用现成方法
手动套用mean ± 1.96 * std/sqrt(n)只适用于大样本z检验，且默认正态、同方差——AB测试里这两条都容易翻车。更稳妥的是用bootstrap或直接调库。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 对连续型指标（如人均订单金额），用
scipy.stats.bootstrap（v1.9+）做非参数bootstrap，设n_resamples=10000，比t分布假设更鲁棒 - 对二值指标（如转化率），用
statsmodels.stats.proportion.proportion_confint，推荐method='agresti_coull'，小样本下比Wald法准确得多 - 所有置信区间必须和假设检验用同一数据集、同一聚合粒度，否则对比失效
最麻烦的不是算不准p值，而是把用户ID当成独立观测单位却没去重，或者把一天内多次曝光当多个样本——这些错误没法靠换检验方法补救。
