本文介绍如何基于一个 DataFrame 列中的部分文本与另一个 DataFrame 列进行匹配，并使用 Pandas 实现高效合并。我们将通过提取目标字符串，创建新的匹配列，最终完成两个 DataFrame 的合并操作，并提供详细的代码示例和注意事项。
问题背景
在数据处理中，经常会遇到需要合并两个 DataFrame 的情况，但标准的 pd.merge 函数要求两个 DataFrame 具有完全匹配的列。当一个 DataFrame 的列值包含另一个 DataFrame 列值的部分文本时，直接使用 pd.merge 无法达到预期效果。本文将提供一种解决方案，通过提取关键文本并创建新的列，实现基于部分字符串匹配的 DataFrame 合并。
解决方案
该方案的核心思想是：
- 从包含部分文本的 DataFrame (df1) 中，提取出与另一个 DataFrame (df2) 匹配的关键文本。
- 将提取出的文本作为新的一列添加到 df1 中。
- 使用新创建的列作为连接键，将 df1 和 df2 进行合并。
代码实现
假设我们有两个 DataFrame，df1 和 df2，它们的数据结构如下：
import pandas as pd
# df1
data1 = {'Hostname': ['ServerABC101', 'ServerABC102', 'ServerDDC103', 'ServerDDC609', 'ServerDDC103', 'ServerDDC609'],
'Region': ['US', 'US', 'PAC', 'Emea', 'PAC', 'Emea'],
'Model': ['Cisco', 'Cisco', 'Intel', 'Intel', 'Intel', 'Intel']}
df1 = pd.DataFrame(data1)
# df2
data2 = {'Site': ['ABC', 'DDC'],
'City': ['NYC', 'DAL'],
'State': ['NY', 'TX']}
df2 = pd.DataFrame(data2)
print("df1:")
print(df1)
print("\ndf2:")
print(df2)我们的目标是基于 df2['Site'] 中的文本与 df1['Hostname'] 中的部分文本匹配，将 df1 和 df2 合并。假设 df1['Hostname'] 中包含 "Server" 之后的三位大写字母代表 df2['Site'] 的值。
首先，使用正则表达式从 df1['Hostname'] 中提取 Site 代码：
df1['Site'] = df1['Hostname'].str.extract(r"Server([A-Z]{3})")
print("\ndf1 after extracting Site:")
print(df1)这里，str.extract(r"Server([A-Z]{3})") 使用正则表达式 Server([A-Z]{3}) 从 Hostname 列中提取匹配 "Server" 后面的三个大写字母。提取的结果将作为新的 'Site' 列添加到 df1 中。
接下来，使用 pd.merge 函数，基于新创建的 'Site' 列将 df1 和 df2 进行合并：
df1 = pd.merge(df1, df2, on='Site', how='left')
print("\nFinal merged df1:")
print(df1)how='left' 参数指定使用左连接，即保留 df1 中的所有行，并将 df2 中匹配的行添加到 df1 中。 如果df1中的Site在df2中没有匹配项，则City和State列将填充NaN。
完整代码示例
import pandas as pd
# df1
data1 = {'Hostname': ['ServerABC101', 'ServerABC102', 'ServerDDC103', 'ServerDDC609', 'ServerDDC103', 'ServerDDC609'],
'Region': ['US', 'US', 'PAC', 'Emea', 'PAC', 'Emea'],
'Model': ['Cisco', 'Cisco', 'Intel', 'Intel', 'Intel', 'Intel']}
df1 = pd.DataFrame(data1)
# df2
data2 = {'Site': ['ABC', 'DDC'],
'City': ['NYC', 'DAL'],
'State': ['NY', 'TX']}
df2 = pd.DataFrame(data2)
# 提取 Site 代码
df1['Site'] = df1['Hostname'].str.extract(r"Server([A-Z]{3})")
# 合并 DataFrame
df1 = pd.merge(df1, df2, on='Site', how='left')
print(df1)注意事项
- 正则表达式： 正确选择和编写正则表达式至关重要。正则表达式需要准确匹配目标文本，避免提取错误的数据。
- 连接类型： how 参数决定了连接的类型。根据实际需求选择合适的连接类型，例如 left、right、inner、outer。
- 缺失值处理： 如果在 df1 中提取的 Site 代码在 df2 中不存在，合并后的 City 和 State 列将会出现缺失值（NaN）。需要根据实际情况处理这些缺失值，例如填充默认值或删除包含缺失值的行。
- 性能优化： 对于大型 DataFrame，使用矢量化操作（如 str.extract）通常比循环遍历更高效。
- 错误处理: 确保代码能够处理 Hostname 列中不包含 "Server" 加上三个大写字母的情况，避免程序崩溃。 可以使用 .fillna() 方法为这些情况设置默认值，或者使用条件语句跳过这些行。
总结
本文介绍了一种基于部分字符串匹配合并 Pandas DataFrames 的方法。通过提取关键文本并创建新的列，我们可以灵活地处理不完全匹配的连接情况。在实际应用中，需要根据具体的数据结构和业务需求，选择合适的正则表达式和连接类型，并注意处理可能出现的缺失值。
