应使用 pandas.read_csv 的 na_values 和 keep_default_na 在读取阶段识别自定义缺失标识；设 keep_default_na=False 避免误判，配合 dtype 预声明列类型、fillna 的 limit/method 控制填充边界、dask 替代处理超大文件、SimpleImputer 实现跨 chunk 一致填充，并通过业务逻辑校验区分真实缺失与有效标记。
用 pandas.read_csv 的 na_values 和 keep_default_na 提前拦截脏缺失标识
千万级数据里，缺失值往往不是标准的 NaN，而是 "N/A"、"NULL"、空字符串甚至 "missing"。如果等读进内存再用 df.replace() 或 df.isna() 处理，会白占大量内存且拖慢速度。
正确做法是在读取阶段就让 pandas 识别它们：
-
na_values指定自定义缺失标识列表，比如["", "N/A", "NULL", "missing"] - 务必设
keep_default_na=False，否则pandas仍会把"NaN"字符串也转成浮点NaN，造成误判 - 配合
dtype参数预先声明列类型（如{"age": "Int64"}），避免整列被升为object后无法向量化填充
用 fillna() 的 limit 和 method 控制填充边界，别无脑前向/后向填充
对时间序列或有序 ID 列做 ffill/bfill 很常见，但千万行里一旦某列有长段连续缺失（比如某设备连续 2 小时断连），无限制填充会让错误值污染后续几十万行。
关键控制点：
立即学习“Python免费学习笔记（深入）”；
Claw Code Suite (Python-Only Edition)
下载
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
- 加
limit=100限制最多连续填充 100 行，超出即停 - 用
method="pad"（同ffill）比method="bfill"更安全——它只依赖已知的“过去”值，不引入未来未知信息 - 对数值列慎用
method="ffill"，优先考虑fillna(df["col"].median())或分组中位数（如按device_id分组再算中位数）
用 dask.dataframe 替代 pandas 处理超大 CSV，但注意 fillna 不支持 inplace=True
当单机内存扛不住千万行（尤其宽表），dask 是更实际的选择，但它和 pandas 的行为差异容易踩坑：
-
dask.dataframe.DataFrame.fillna()不接受inplace=True，必须写成df = df.fillna(...) -
fillna的value参数不能是动态计算的 Series（如df.mean()），得先compute()出标量值再传入 - 列类型推断弱，读取后立刻用
df = df.astype({"col": "float64"})显式转换，否则fillna(0)可能失败 - 不要在
dask上调df.isna().sum().compute()查缺失率——它会触发全量扫描，改用抽样统计更高效
用 sklearn.impute.SimpleImputer 做跨 chunk 一致填充，避免分块处理导致偏差
当数据分片加载（如用 chunksize 读 CSV），各 chunk 单独 fillna 会导致：同一列在不同 chunk 用不同均值填充，破坏数据一致性。
解决方法是用 SimpleImputer 先拟合全局统计量：
- 第一遍遍历所有 chunk，调用
imputer.fit(chunk[cols])（仅拟合，不 transform） - 第二遍再对每个 chunk 调用
imputer.transform(chunk[cols])，确保所有 chunk 用同一套均值/众数 - 注意
SimpleImputer默认丢弃含NaN的行，要设add_indicator=False避免意外删行 - 若列类型混杂（数值+类别），拆成两套 imputer：数值列用
strategy="median"，类别列用strategy="most_frequent"
真正难的不是填什么值，而是填的时候不知道哪些“缺失”其实是有效业务标记（比如 status 列的 "pending" 被误判为缺失）。这类问题只能靠业务逻辑校验，代码填得再快也没用。
