本文旨在帮助开发者解决在使用 Pandas DataFrame 时遇到的“DataFrame is highly fragmented”性能警告。该警告通常由于频繁使用 frame.insert 或类似操作导致，效率低下。本文将介绍如何通过使用 pd.concat 函数，以更高效的方式合并列，从而避免 DataFrame 碎片化，提升代码性能。
Pandas DataFrame 碎片化问题与解决方案
在使用 Pandas 进行数据处理时，频繁地向 DataFrame 中插入列可能会导致性能问题，并触发 "PerformanceWarning: DataFrame is highly fragmented" 警告。 这是因为 Pandas 在底层存储 DataFrame 数据时，频繁的插入操作会导致内存碎片化，降低数据访问效率。
问题根源：低效的列插入
以下代码示例展示了导致 DataFrame 碎片化警告的典型场景：
import pandas as pd
# 创建一个示例 DataFrame
df = pd.DataFrame({f"col{i}": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] for i in range(1_000)})
# 频繁插入列 (低效)
new_df = pd.DataFrame()
for i in range(1_000):
new_df[f"new_df_col{i}"] = df[f"col{i}"] + i
print(new_df)运行上述代码会产生性能警告，因为在循环中不断地向 new_df 插入新列。 这种方法效率很低，特别是当处理大型 DataFrame 时。
解决方案：使用 pd.concat 合并列
更高效的解决方案是使用 pd.concat 函数一次性合并所有列。以下代码展示了如何使用 pd.concat 避免 DataFrame 碎片化：
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
import pandas as pd
# 创建一个示例 DataFrame
df = pd.DataFrame({f"col{i}": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] for i in range(1_000)})
# 使用字典存储新列数据
data = {}
for i in range(1_000):
data[f"new_col{i}"] = df[f"col{i}"] + i
# 使用 pd.concat 一次性合并所有列
new_df = pd.concat(data.values(), axis=1, ignore_index=True)
new_df.columns = data.keys() # 设置列名 (Python 3.7+ 保证插入顺序)
print(new_df)在这个改进后的代码中，我们首先使用一个字典 data 存储所有需要添加的新列。 然后，我们使用 pd.concat 函数将字典中的所有值（即新列）沿列方向（axis=1）合并成一个新的 DataFrame。 这种方法避免了频繁的列插入操作，从而避免了 DataFrame 碎片化。
应用于原问题
对于原问题中提到的代码片段：
df['xcount'] = df.apply(self.go_unigram, axis=1) df[self.listsunigram] = pd.DataFrame(df.xcount.tolist(), index=df.index) df['xcount'] = df.apply(self.go_bigram, axis=1) df[self.listsbigram] = pd.DataFrame(df.xcount.tolist(), index=df.index) df['xcount'] = df.apply(self.go_complex, axis=1) df[self.listcomplex] = pd.DataFrame(df.xcount.tolist(), index=df.index)
可以将其修改为：
df['xcount'] = df.apply(self.go_unigram, axis=1)
df = pd.concat(
[df, pd.DataFrame(df.xcount.tolist(), index=df.index, columns=self.listsunigram)],
axis=1,
)
df['xcount'] = df.apply(self.go_bigram, axis=1)
df = pd.concat(
[df, pd.DataFrame(df.xcount.tolist(), index=df.index, columns=self.listsbigram)],
axis=1,
)
df['xcount'] = df.apply(self.go_complex, axis=1)
df = pd.concat(
[df, pd.DataFrame(df.xcount.tolist(), index=df.index, columns=self.listcomplex)],
axis=1,
)通过使用 pd.concat，可以避免频繁地向 DataFrame 中插入列，从而提高代码的性能。
注意事项
- 内存占用： 使用 pd.concat 创建新的 DataFrame 可能会占用更多的内存，特别是当处理非常大的数据集时。 在这种情况下，可以考虑使用其他优化技术，例如使用 NumPy 数组进行数据处理。
- 数据类型： 确保要合并的列具有相同的数据类型，或者可以安全地转换为相同的数据类型。 否则，可能会导致数据类型不匹配的错误。
- 列名冲突： 如果要合并的 DataFrame 中存在相同的列名，pd.concat 会自动重命名这些列。 可以使用 suffixes 参数来指定重命名的后缀。
总结
通过避免频繁的列插入操作，并使用 pd.concat 函数一次性合并所有列，可以有效地解决 Pandas DataFrame 碎片化问题，提高代码的性能。 在处理大型数据集时，这种优化方法尤其重要。 同时，需要注意内存占用、数据类型和列名冲突等问题，以确保代码的正确性和效率。
