协同过滤推荐系统以用户行为数据驱动，核心步骤包括：清洗交互日志为用户-商品-强度三元组，构建加权稀疏矩阵并降维，用Annoy/Faiss加速相似度检索，融合User-CF与Item-CF结果（70%:20%:10%热门新品），上线前需多样性控制、业务规则约束及AB测试验证CTR与GMV占比。
用Python做协同过滤推荐系统，核心是“用户行为数据驱动”，不是靠商品内容，而是靠用户和商品之间的交互关系（比如点击、加购、下单）来发现相似用户或相似商品。流程不复杂但容易忽略细节，下面按实际开发顺序讲清楚关键步骤。
准备高质量的用户-商品交互数据
协同过滤只认“谁对什么做了什么”，所以原始日志要规整成三列：用户ID、商品ID、行为强度（如评分、购买次数、停留时长等）。没有显式评分？可以用隐式反馈建模——比如购买记为1，加购记为0.8，浏览记为0.3。
- 清洗掉异常用户（单日操作超500次）、测试账号、爬虫流量
- 过滤低频商品（被交互少于5次的直接剔除，减少稀疏性）
- 把时间戳转为权重（最近7天行为权重×1.5，前一周×1.2，更早×1.0）
构建用户-商品矩阵并处理稀疏问题
用scikit-learn的sparse.csr_matrix构造矩阵，别用普通二维数组——百万级用户+十万级商品下内存直接爆掉。行是用户，列是商品，值是加权行为分。
- 对每行做L2归一化（让不同活跃度用户的向量可比）
- 用TruncatedSVD降维到300维左右（保留90%能量），缓解冷启动和噪声
- 不用余弦相似度硬算全量用户对？改用Annoy或Faiss建索引，查Top-K相似用户快10倍以上
实现两种协同过滤并融合结果
用户协同（User-CF）适合“找同类人爱啥”，物品协同（Item-CF）更稳、易解释、线上响应快。实际业务中建议两者都跑，再加权融合。
立即学习“Python免费学习笔记（深入）”；
- User-CF：先找与目标用户最相似的50个用户，聚合他们交互过但目标没碰过的商品，按相似度×行为强度加权打分
- Item-CF：离线预计算商品相似度矩阵（用改进的余弦或Jaccard），线上实时查目标用户历史商品的Top-N相似品，去重后按热度/时效性重排序
- 融合技巧：Item-CF结果占70%，User-CF占20%，再加10%热门新品（避免推荐池僵化）
上线前必须做的三件事
模型离线AUC高≠线上好用。真实场景里，多样性、新颖性、商业目标（比如拉新、清库存）一样重要。
- 加多样性控制：用MMR（Maximal Marginal Relevance）对候选集重排，避免连推5个同款手机壳
- 加入业务规则白名单/黑名单：例如“孕妇奶粉”不推给男性用户，“临期商品”只推给复购率＞30%的老客
- AB测试盯两个指标：CTR提升幅度 + “推荐位GMV占比”（不能光点不买）
基本上就这些。代码层面用surprise库快速验证算法，生产环境用lightfm或自研PySpark pipeline。关键是别迷信“准确率”，推荐系统的终点是用户愿意继续逛下去。
