用quantile()加逻辑索引剔除离群值最稳健，需对每列单独计算5%和95%分位数上下界，再构建布尔掩码统一过滤，避免整行误删。
用 quantile() + 逻辑索引剔除数值型离群值
直接用分位数判断离群最稳，比固定倍数标准差更抗极端值干扰。关键是别用 mean() 和 std() 做阈值——一旦数据里混进几个极大值，整个阈值就漂了。
常见错误是写成 df[col] > df[col].quantile(0.95) 然后直接赋值 df = df[...]，结果整行被删掉，其他列的关联数据也跟着丢。必须对每列单独算上下界，再统一过滤。
- 先算上下界：
low, high = df[col].quantile(0.05), df[col].quantile(0.95) - 再构建布尔掩码：
mask = (df[col] >= low) & (df[col] - 多列同时处理时，用
mask_all = mask_col1 & mask_col2 & ...，别用and - 注意
quantile()默认插值方式是linear，如果数据量小（interpolation='midpoint' 减少抖动
遇到 TypeError: cannot compare a dtyped [object] array with a scalar of type [bool]
这基本等于你在对非数值列（比如字符串、时间戳、空值混合列）直接套用了数值型离群逻辑。Pandas 不会自动跳过，而是报这个看似无关的类型错误。
典型场景：读 CSV 后某列本该是数字，但中间夹了几行“N/A”或空格，dtype 被推断成 object，后续 quantile() 直接崩。
立即学习“Python免费学习笔记（深入）”；
图片提示词生成器？不止如此。 马甲系统 —— 把脑海中的画面，翻译成AI能理解的专业表达。 用得越多，它越懂你：首次需要多问几句确认方向，用久了几乎一说就懂。 用得越多，它越快：缓存机制让后续对话越来越省。 RAG进化：成功案例持续入库，越跑越聪明。 输入「新手指南」查看完整功能介绍
- 先检查：用
df[col].apply(type).unique()看真实类型分布 - 清洗优先于检测：用
pd.to_numeric(df[col], errors='coerce')强转，把非法值变NaN - 再确认缺失：用
df[col].isna().sum()，别等剔除完才发现全列变空 - 时间列别硬套 quantile —— 改用
pd.Timestamp范围截断，比如df['date'].between('2020-01-01', '2024-12-31')
保留原始索引还是重置？drop=True 到底要不要设
用 df = df[mask] 后索引会留空洞，比如删掉第 5 行，下一行索引还是 6 而不是 0。多数时候这不是 bug，是 feature —— 能反查原始位置。但如果你之后要 merge、做 rolling 计算，或者喂给 scikit-learn，空洞索引可能触发隐式警告甚至报错。
性能上，reset_index(drop=True) 是 O(n) 操作，百万行以下几乎无感；但若后续还要按原 ID 关联日志或数据库记录，重置就断链了。
- 需要下游模型输入 → 加
reset_index(drop=True) - 要回溯原始行号或做增量分析 → 保持原索引，必要时加一列
df['orig_idx'] = df.index - 用
inplace=True是陷阱：它不改变索引结构，且在链式操作中常失效，老老实实重新赋值
为什么 clip() 有时候比删除更合适
剔除是暴力手术，clip 是温和调节。当异常值其实是有效业务信号（比如促销日销量暴增、服务器偶发延迟尖峰），直接删会扭曲分布形态，导致模型低估尾部风险。
clip 的代价是引入人为平台效应——所有超限值压到同一水平，但好处是保样本量、保时序连续性、避免训练/预测分布偏移。
- 语法简单：
df[col] = df[col].clip(lower=low, upper=high) - 注意
clip()不修改原NaN，所以务必先处理缺失，否则NaN会被保留下来参与后续计算 - 和
quantile()配合时，别用df[col].clip(...).quantile(...)反复调用——先算好边界再 clip，避免边界被 clip 后的数据二次影响
真正难的是判断“这到底是噪声还是信号”。没有银弹，得结合业务背景看：是传感器漂移？录入错误？还是黑天鹅事件？代码只是工具，边界怎么划，得人盯住数据背后的故事。
