Python 3.11 对 pandas 清洗任务提速仅限 pd.read_csv() 后立即进行字符串处理且 dtype 为 'string' 或未指定的场景，如 str.replace、str.split、str.extract 等操作可快 25–35%；若设 dtype='object' 则无加速。
pd.read_csv() 字符串解析快，但仅限于你让它用上新路径
Python 3.11 对 pandas 清洗任务的提速是局部且有条件的——不是所有清洗步骤都变快，只有特定操作、在特定写法下才受益。多数人测不出明显提升，是因为他们卡在了不被加速的瓶颈上。
哪些清洗操作真能快 25–35%
提速集中在 pd.read_csv() 后立刻做字符串处理的环节，前提是：列 dtype 是 'string' 或未指定（默认走 Python 字符串路径），且操作调用了底层依赖解释器的字符串方法：
-
df['addr'].str.replace(r'\s+', ' ').str.strip()—— 正则 + 空格清理 -
df['log'].str.split('|', expand=True)—— 分隔符拆列 -
df['text'].str.extract(r'(\d{4})-(\d{2})')—— 正则提取结构化字段
这些操作在 3.11 中受益，是因为解释器优化了 str.replace()、re.compile() 调用栈和内存拷贝路径。但如果你写了 dtype={'addr': 'object'}，pandas 就绕过新字符串路径，回到旧逻辑，提速归零。
立即学习“Python免费学习笔记（深入）”；
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
为什么 df.groupby().agg() 几乎没变化
这类操作的耗时主体不在 Python 解释器，而在 pandas 自己的 Cython 实现和 NumPy 底层。3.11 的自适应解释器对 LOAD_ATTR 和 CALL_FUNCTION 字节码做了特化，但只在类型稳定、高频调用的链式方法上生效（比如 df.sum().mean()）。而 groupby 在 object 列上运行时：
- 每组都要做 Python 层字符串比较（无法特化）
- 中间生成大量临时 Python 对象（3.11 反而可能因对象跟踪开销略慢）
- 实际计算由 pandas C++ 引擎完成，绕过解释器优化
所以哪怕你升级到 3.11，只要还留着 df['city'].dtype == 'object'，groupby 就不会快。
比换版本更关键的 3 个动作
这些操作在 3.10 和 3.11 上效果一致，但收益远超版本升级本身：
- 读取时就压缩：
pd.read_csv('data.csv', usecols=['id','status'], dtype={'status': 'category'})—— 内存降 60%，后续所有操作自动变快 - 高重复字符串列转
category：df['status'] = df['status'].astype('category')——groupby可快 5–20× - 避免隐式拷贝：
df.loc[mask, 'new_col'] = df.loc[mask, 'x'] * 2，而不是df.loc[mask].assign(new_col=lambda d: d.x * 2)—— 后者创建中间 DataFrame，3.11 不缓解这问题
真正决定你脚本快不快的，不是 Python 版本号，而是代码里有多少操作落在解释器热路径上。其余部分，3.11 和 3.10 几乎一样慢。最容易被忽略的是：dtype 设置错误会让所有加速失效，而 category 转换这种手动干预，才是最稳的提速点。
