CodeGeeX可基于上下文自动生成CSV分块读取、Pandas向量化优化、Dask迁移及OOM修复方案，支持注释驱动、交互选择与智能补全，显著提升大数据处理效率。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
当你在VSCode中处理GB级CSV或上百万行Pandas DataFrame时，原始代码常因内存溢出、低效迭代或未启用并行而卡死。CodeGeeX能基于你当前脚本上下文，直接生成带chunk读取、dask迁移、向量化替代for循环的优化方案，跳过手动查文档和反复试错。
用CodeGeeX识别性能瓶颈并重写核心逻辑
打开已有的慢速Python数据处理脚本，在疑似低效的函数末尾（如含for循环遍历DataFrame的行）插入一行中文注释：【#优化此函数：避免逐行迭代，改用向量化操作】。光标停在注释末尾，按Ctrl+Enter触发交互模式。
CodeGeeX会分析上下文中的DataFrame变量名、列名及现有操作，生成3个候选方案。选择含.loc[condition, 'col'] = value或np.where()的方案——这类写法比df.iterrows()快10倍以上，且不会触发SettingWithCopyWarning警告。
若原代码使用apply(lambda x: ...)处理字符串列，CodeGeeX生成的方案中应出现.str.contains()或.str.replace()等原生方法。这些方法底层调用C实现，比Python lambda快5～50倍。
立即学习“Python免费学习笔记（深入）”；
分块读取超大CSV文件
方法一：注释驱动生成
在空白.py文件中输入：【#读取data.csv，文件大小约2.3GB，内存限制2GB，需分块处理后合并结果】。按Ctrl+Enter，选择生成含pd.read_csv(..., chunksize=50000)和pd.concat(chunks)的方案。
注意：不要直接用chunksize参数后接for chunk in reader再逐块to_csv——这会导致磁盘I/O爆炸。CodeGeeX推荐的list.append(chunk)→pd.concat()路径，能在内存可控前提下最小化IO次数。
方法二：自动补全增强
已有df = pd.read_csv("data.csv")语句时，将光标置于括号内，暂停输入。CodeGeeX会自动补全chunksize=10000, dtype={"id": "category"}等关键参数。其中dtype指定类别型列可节省60%内存，chunksize值必须小于可用内存除以单块估算大小——CodeGeeX不会帮你算这个，得自己估。
将Pandas迁移到Dask实现并行加速
第一步：确认当前脚本是否适合迁移
若代码中仅含groupby、agg、merge等惰性操作，且无df.iloc[0]这类强制计算，就符合Dask迁移条件。CodeGeeX对这类模式识别准确率超90%。
第二步：生成迁移代码
在脚本开头添加注释：【#将后续所有pandas操作转为dask并行执行，保留原有逻辑不变】。触发Ctrl+Enter后，CodeGeeX会生成import dask.dataframe as dd及df = dd.read_csv(...)，并在每个.compute()调用前加注释说明“此处触发实际计算”。
第三步：处理不兼容操作
若原代码含df.plot()或df.to_excel()，CodeGeeX生成的方案会主动替换为df.compute().plot()或df.compute().to_excel()。这一步不可省略——Dask DataFrame本身不支持绘图和Excel导出，漏掉.compute()会报AttributeError。
用CodeGeeX修复OOM错误
当你的脚本运行时报MemoryError时，不要删代码重写。直接复制错误堆栈最顶端那行（例如File "xxx.py", line 42, in process_data），在新行粘贴并追加：【#上一行导致内存溢出，请改用生成器或流式处理】。
CodeGeeX会定位到对应行的pd.read_csv()或df.merge()调用，生成带iterator=True或how="left"（避免笛卡尔积）的修复版本。它甚至会检查是否启用了low_memory=False——这个参数在混合类型列上常引发内存暴涨，修复方案会显式关闭它。
