Pandas处理中等规模数据高效，但误用会致性能骤降；应避免for循环和链式赋值，优先向量化操作、合理设数据类型、批量处理列与合并。
Python Pandas 在处理中等规模数据（几百万行以内）时非常高效，但一旦操作不当，性能可能骤降——不是因为 Pandas 本身慢，而是常见误用触发了隐式拷贝、低效迭代或非向量化逻辑。
避免 for 循环遍历 DataFrame
用 for index, row in df.iterrows(): 或 df.apply(..., axis=1) 处理每行，本质是 Python 层循环，比向量化操作慢 10–100 倍。Pandas 的设计哲学是“用向量化替代逐行计算”。
- ✅ 正确做法：优先使用内置方法，如
df['col'].str.contains()、df['a'] + df['b']、df.groupby().agg() - ✅ 替代 apply：若必须自定义逻辑，尝试用
np.where()、pd.cut()或map()（对 Series）；复杂逻辑可先转为 NumPy 数组操作，再塞回 DataFrame - ❌ 避免：在循环里反复调用
df.loc[i, 'col'] = ...—— 每次都是视图/拷贝判断，开销极大
警惕 链式赋值（Chained Assignment）
df[df['A'] > 0]['B'] = 1 看似简洁，实则可能修改副本而非原数据，且触发 SettingWithCopyWarning；更严重的是，它强制 Pandas 判断是否需拷贝底层数据，拖慢速度并引入不确定性。
- ✅ 正确写法：统一用
.loc或.iloc进行布尔索引赋值：df.loc[df['A'] > 0, 'B'] = 1 - ✅ 若需筛选后操作新 DataFrame，显式复制：
subset = df[df['A'] > 0].copy()，避免后续隐式拷贝争议 - ⚠️ 注意：
query()返回新对象，assign()返回新对象，都不是就地修改，需重新赋值或用inplace=True（不推荐，语义不清）
合理选择 数据类型与内存布局
默认的 object 类型（尤其字符串列）、高精度浮点（float64）、未压缩的分类变量，会显著增加内存占用，进而影响缓存命中率和计算速度。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
立即学习“Python免费学习笔记（深入）”；
- ✅ 字符串列：用
string（Pandas 1.0+）或category（重复值多时），例如df['city'] = df['city'].astype('category') - ✅ 数值列：根据范围降级，如
int64 → int32、float64 → float32；用pd.to_numeric(df['col'], downcast='integer') - ✅ 时间列：确保是
datetime64[ns]，避免字符串存储日期；必要时用dt.date或dt.floor('D')提前聚合，减少精度冗余
慎用 动态列创建与频繁 concat
在循环中不断 df['new_col'] = ... 或反复 pd.concat([df, new_row], ignore_index=True)，会导致 DataFrame 底层 Block Manager 频繁重组，产生大量临时对象和内存碎片。
- ✅ 批量生成列：先用字典或列表收集结果，最后一次性
pd.DataFrame.from_dict()或df.assign(**new_cols) - ✅ 合并多个小表：先存入 list，最后单次
pd.concat(list_of_dfs, ignore_index=True)，避免 N 次扩容 - ✅ 流式处理大数据：考虑
dask.dataframe或分块读取（chunksize参数），而非硬塞进单个 DataFrame
不复杂但容易忽略：性能瓶颈往往不在算法本身，而在数据加载、类型推断和中间对象生命周期管理上。打开 df.info(memory_usage='deep') 看真实内存消耗，比盲目优化代码更有效。
