本文介绍如何使用pandas快速将dataframe中的nan值统一替换为0，并结合向量化操作替代低效的iterrows循环，实现安全、简洁、高性能的逐行数值计算。
在数据处理中，直接对含NaN的列执行浮点运算会引发TypeError或意外的NaN传播，而逐行遍历（如iterrows()）不仅代码冗长、可读性差，还严重拖慢性能——尤其在中大型数据集上。最优解是：先统一填充缺失值，再利用Pandas向量化运算完成逻辑分支计算。
✅ 正确做法：填充 + 向量化
首先，用 fillna(0) 将所有NaN替换为0（默认作用于全部数值列）：
Miller CSV TSV JSON 数据处理器
下载
Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。
import pandas as pd
import numpy as np
df = pd.read_csv('documents/doc.csv', on_bad_lines='skip') # 替代已弃用的 error_bad_lines
df = df.fillna(0) # 一行解决：所有NaN → 0⚠️ 注意：fillna(0) 默认对所有可填充列生效；若仅需特定列，可指定列名：df[['first column', 'second column', 'third column', 'fourth column', 'fifth column']] = df[['...']].fillna(0)
接着，避免iterrows()，改用向量化条件计算。根据原逻辑——当fourth column为0（含原NaN填充后）时走公式A，否则走公式B——可借助np.where实现：
# 提取并确保为数值类型（自动将非数字转为NaN，再被fillna(0)覆盖） cols = ["first column", "second column", "third column", "fourth column", "fifth column"] df[cols] = df[cols].apply(pd.to_numeric, errors='coerce').fillna(0) # 向量化计算 final_grade var1, var2, var3 = df["first column"], df["second column"], df["third column"] var4, var5 = df["fourth column"], df["fifth column"] # 条件：var4 == 0（含原NaN填充结果）→ 使用公式A；否则公式B formula_a = np.round(0.25 * (var1 + var2 + var3) / 3 + 0.75 * var5, 1) formula_b = np.round(0.166 * (var1 + var2 + var3) / 3 + 0.33 * var4 + 0.5 * var5, 1) df['final_grade'] = np.where(var4 == 0, formula_a, formula_b)
? 为什么这更优？
- 性能：向量化运算比Python循环快10–100倍；
- 健壮性：pd.to_numeric(..., errors='coerce') 自动处理字符串、空格等脏数据，转为NaN后再统一填充；
- 可读性与可维护性：逻辑集中、无副作用、易于单元测试；
- 内存友好：不生成中间Python对象，全程在NumPy数组上运算。
? 补充建议
- 避免pdb.set_trace()在线上逻辑中；调试阶段可用print(df.head())或df.info()快速检查数据状态；
- 若需保留原始NaN语义（如区分“未填写”和“0分”），应改用mask或where做条件填充，而非全局fillna(0)；
- 对超大文件，考虑使用chunksize参数分块读取+处理，防止内存溢出。
最终，一行fillna(0)只是起点；真正高效的Pandas实践，是让数据清洗与业务逻辑都运行在向量引擎之上。
