A/B测试需在CodeBuddy中实现端到端闭环，包括实验设计、分流配置、指标埋点与统计检验；自动生成配置文件与文档，确保分流一致性、指标语义明确、前后端日志兼容，并输出含置信区间与决策建议的分析报告。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要让A/B测试真正驱动业务决策，必须在CodeBuddy中完成从实验设计、分流配置、指标埋点到统计检验的端到端闭环，不能只靠人工拼凑脚本或Excel计算。
用CodeBuddy初始化A/B测试项目结构
在终端进入项目根目录，执行codebuddy命令启动助手；
输入自然语言指令：“创建一个电商首页改版A/B测试项目，包含对照组A（原按钮）和实验组B（新按钮），目标指标为点击率和加购转化率，需支持7天实验周期与样本量自动估算”；
CodeBuddy会自动生成ab_test_config.yaml、sample_size_calculator.py和metrics_schema.json三个核心文件，并在CODEBUDDY.md中写入本次实验的上下文约束——这是后续所有AI操作能精准理解业务意图的前提。
【若未生成CODEBUDDY.md，后续所有指标定义和分流逻辑将无法被正确继承】
配置流量分流与用户分组规则
方法一：基于哈希ID的确定性分流
打开ab_test_config.yaml，将split_strategy设为user_id_hash_mod，并指定模数为100；
CodeBuddy会自动补全分流函数代码，确保同一用户在多次请求中始终落在同一组——这一步不可跳过，否则会导致用户状态漂移，实验结果失效。
方法二：按设备指纹+地域分层随机
在配置中启用stratification字段，填入["device_type", "province"]；
CodeBuddy将调用scikit-learn的StratifiedShuffleSplit生成分层采样器，并输出各层A/B组人数分布表；
这一步适合新功能在安卓/iOS表现差异大、或区域运营策略不同时使用，避免因分布偏差掩盖真实效果。
CodeBuddy Code CLI 的安装、配置与使用指南。CodeBuddy Code 是腾讯推出的 AI 驱动 CLI 编程助手，支持自然语言驱动开发。 - 必备触发词：CodeBuddy, codebuddy, AI CLI, Tencent AI coding, @tencent-ai/codebuddy-code, terminal AI assistant - 适用场景：安装 CodeBuddy CLI、配置 CodeBuddy、使用 CodeBuddy 命令、排查 CodeBuddy 问题
定义并注入核心指标埋点逻辑
第一步：声明指标语义
在metrics_schema.json中，为click_rate添加字段：{"numerator": "button_click_event", "denominator": "homepage_impression"}；
第二步：生成前端埋点代码
对CodeBuddy说：“为React组件ButtonV2.tsx添加A/B组标识与点击埋点，要求区分A组曝光、B组曝光、A组点击、B组点击四类事件”；
它会直接修改源文件，在useEffect中插入带window.abGroup判断的trackEvent调用，并同步更新TypeScript类型定义；
第三步：校验后端日志格式兼容性
运行codebuddy check metrics consistency，它将比对前端发送的event_name与后端Kafka Topic Schema，自动提示缺失字段如ab_version或session_id——漏掉任一字段都会导致Z检验时样本错配。
运行统计分析并输出决策报告
执行python run_analysis.py --test-id=home_btn_v2_20260805；
CodeBuddy调用预置的ab_test_analyzer模块，自动完成：数据清洗→去重→按AB组聚合→Z检验→效应量计算→置信区间估计；
生成report_home_btn_v2_20260805.html，内含三张关键图表：点击率对比柱状图（带95%CI误差线）、转化率提升热力图、护栏指标波动预警表；
报告末尾给出明确建议：“P=0.003
