协同过滤在小规模数据上可用scikit-surprise快速验证baseline，但大规模场景需改用TruncatedSVD或implicit.ALS；注意ID连续整数、清洗单样本用户、行归一化、补bias项及隐式反馈的置信度建模。
协同过滤在小规模数据上直接用 scikit-surprise 能跑通，但真要上线或处理百万级用户-物品交互，必须自己实现矩阵分解（如 SVD）或改用 lightfm 这类支持隐式反馈+特征融合的库——纯内存型相似度计算（user-based 或 item-based）会卡死。
用 scikit-surprise 快速验证协同过滤 baseline
它封装了 SVD、KNNBasic、SlopeOne 等经典算法，适合冷启动测试和参数调优。注意：输入必须是三元组 (user_id, item_id, rating)，且 user_id 和 item_id 必须是连续整数（从 0 开始），否则 fit() 会静默失败。
常见错误现象：ValueError: The trainset must have at least 2 ratings —— 实际是因为某用户/物品只有一条记录，surprise 内部划分训练集时剔除了单样本用户；解决方法是预处理时用 pandas.DataFrame.groupby().filter(lambda x: len(x) > 1) 清洗。
- 加载数据后必须用
Dataset.load_from_df()转成surprise的Trainset格式，不能直接传DataFrame -
KNNBasic默认用pearson相似度，对稀疏数据不稳定，可换cosine或msd（均方差） -
cross_validate()默认用RMSE评估，但实际业务更关心 top-N 推荐准确率，需手动写get_top_n()+hitrate@10计算逻辑
自己实现 SVD 矩阵分解时的关键控制点
用 numpy.linalg.svd() 做截断 SVD 看似简单，但生产环境必须用随机 SVD（sklearn.decomposition.TruncatedSVD）——原生 SVD 时间复杂度 O(min(m,n)×max(m,n)²)，10 万用户 × 5 万商品的评分矩阵根本跑不动。
立即学习“Python免费学习笔记（深入）”；
性能影响明显：设隐因子数 n_components=100，TruncatedSVD 比完整 SVD 快 8–12 倍，且内存占用低一个数量级。
- 输入矩阵必须做行归一化（每个用户评分减去该用户均值），否则
user_bias项无法收敛 - 缺失值不能填 0！要填全局均值或用户均值，否则零会扭曲奇异向量方向
- 预测公式不是简单的
U @ V.T，得补上 bias 项：pred = mu + bu[u] + bi[i] + U[u] @ V[i].T，其中mu是全局均值，bu/bi是用户/物品偏置
处理隐式反馈时别硬套显式评分模型
点击、浏览、加购这些行为没有明确打分，直接当 rating=1 丢进 SVD 效果很差。要用 implicit 库的 AlternatingLeastSquares（ALS），它把交互频次转成置信度权重：confidence = 1 + alpha * count。
容易踩的坑：implicit 输入必须是 scipy.sparse.csr_matrix，且行列索引从 0 开始；若原始 user_id 是字符串，必须先映射为整数 ID，否则报错 IndexError: index out of bounds。
-
alpha参数极敏感，通常设在 15–40 之间，太小导致热门物品淹没长尾，太大让模型过度拟合稀疏行为 - 训练前务必调用
model.fit(item_user_matrix.T)—— 注意是转置，因为implicit默认按“物品-用户”矩阵建模 - 预测用
model.recommend(user_id, user_items, N=10)，其中user_items是该用户已交互物品的scipy.sparse.csr_matrix行向量
线上 serving 时模型导出与更新陷阱
joblib 保存 TruncatedSVD 模型没问题，但 implicit.ALS 的 save() 方法只存二进制权重，没存 item/user mapping 字典——重启服务后 ID 映射错乱，推荐结果全乱。
必须把 ID 到名称的映射（user_id_to_name、item_id_to_name）单独存 JSON 或 SQLite，加载模型时同步读取；且每次增量更新 ALS 模型，都要重新生成并保存新映射，不能复用旧的。
另一个坑：implicit 的 recommend() 不支持 batch 推理，1000 个用户就得循环调用 1000 次，延迟飙升。解决方案是用 model.item_factors @ user_factors.T 手动算相似度矩阵，再用 np.argpartition() 取 top-K，快 5 倍以上。
