本教程详细介绍了如何使用 pandas 对 dataframes 进行多列外连接（outer join）。通过 pd.dataframe.merge 方法结合 how='outer' 参数，以及 add_suffix 技巧处理列名冲突，实现基于多个共同列的合并，确保匹配项对齐，非匹配项以 nan 填充，从而生成结构清晰的合并结果。
在数据分析和处理中，经常需要将多个数据表（DataFrame）根据一个或多个共同的键进行合并。当需要保留所有源数据中的信息，即使某些行在另一个表中没有匹配项时，外连接（Outer Join）就成为了理想的选择。本教程将深入探讨如何使用 Pandas 的 merge 函数，基于多列进行外连接，并有效处理合并过程中的列名冲突及缺失值。
准备数据
首先，我们创建两个示例 DataFrame，它们都包含 level 和 title 两列。
import pandas as pd
import numpy as np
# DataFrame 1
data1 = {
'level': ['Level 0', 'Level 1', 'Level 1', 'Level 1', 'Level 2', 'Level 2', 'Level 3'],
'title': ['Effective', 'Evaluation', 'Ice Breaker', 'Fire', 'Introduction', 'Understanding', 'Connect']
}
df1 = pd.DataFrame(data1)
print("DataFrame 1:")
print(df1)
print("\n" + "="*30 + "\n")
# DataFrame 2
data2 = {
'level': ['Level 0', 'Level 1', 'Level 1', 'Level 2', 'Level 2', 'Level 4'],
'title': ['Effective', 'Evaluation', 'Comedy', 'Introduction', 'Understanding', 'Connect']
}
df2 = pd.DataFrame(data2)
print("DataFrame 2:")
print(df2)输出：
DataFrame 1:
level title
0 Level 0 Effective
1 Level 1 Evaluation
2 Level 1 Ice Breaker
3 Level 1 Fire
4 Level 2 Introduction
5 Level 2 Understanding
6 Level 3 Connect
==============================
DataFrame 2:
level title
0 Level 0 Effective
1 Level 1 Evaluation
2 Level 1 Comedy
3 Level 2 Introduction
4 Level 2 Understanding
5 Level 4 Connect核心方法：使用 merge 进行多列外连接
Pandas 的 merge 函数是实现 DataFrame 连接的核心工具。要基于多列进行外连接，我们需要关注以下几个关键参数：
- how='outer': 指定连接类型为外连接，这意味着将包含左 DataFrame 和右 DataFrame 中的所有行。如果某一行在另一侧没有匹配项，则对应的列将填充 NaN（Not a Number）。
- left_on 和 right_on: 用于指定左右 DataFrame 中作为连接键的列。当基于多列连接时，这两个参数都应传入一个列名列表。
为了使合并后的结果更清晰，避免默认的 _x 和 _y 后缀，我们可以在合并前对其中一个 DataFrame 的列名进行重命名。这里，我们使用 add_suffix('_') 方法给 df2 的所有列名添加 _ 后缀。
# 对df2的列名添加后缀，以区分合并后的列
df2_suffixed = df2.add_suffix('_')
# 执行多列外连接
merged_df = df1.merge(df2_suffixed,
how='outer',
left_on=['level', 'title'],
right_on=['level_', 'title_'])
print("\n合并结果 (使用 add_suffix):")
print(merged_df)输出：
合并结果 (使用 add_suffix):
level title level_ title_
0 Level 0 Effective Level 0 Effective
1 Level 1 Evaluation Level 1 Evaluation
2 Level 1 Ice Breaker NaN NaN
3 Level 1 Fire NaN NaN
4 Level 2 Introduction Level 2 Introduction
5 Level 2 Understanding Level 2 Understanding
6 Level 3 Connect NaN NaN
7 NaN NaN Level 1 Comedy
8 NaN NaN Level 4 Connect在这个结果中，来自 df1 的列是 level 和 title，来自 df2 的列是 level_ 和 title_。如果某一行只存在于 df1 中，那么 level_ 和 title_ 将为 NaN；反之，如果只存在于 df2 中，则 level 和 title 将为 NaN。这种方式清晰地展示了两个 DataFrame 的对应关系和非匹配项。
进阶方法：直接指定 Series 作为连接键
另一种 merge 的用法是直接将 DataFrame 的 Series 对象作为 left_on 和 right_on 的值。这种方法在某些场景下，例如当你需要基于非列名而是 Series 内容进行复杂匹配时可能有用，但对于简单的多列连接，它通常会导致更多辅助列的生成。
# 直接使用 Series 作为连接键进行合并
merged_df_advanced = df1.merge(df2,
how='outer',
left_on=[df1['level'], df1['title']],
right_on=[df2['level'], df2['title']])
# 默认情况下，merge 会为连接键生成 key_0, key_1 等列，
# 并为重名的原始列添加 _x 和 _y 后缀
print("\n合并结果 (直接指定 Series 作为连接键):")
print(merged_df_advanced)输出：
合并结果 (直接指定 Series 作为连接键):
key_0 key_1 level_x title_x level_y title_y
0 Level 0 Effective Level 0 Effective Level 0 Effective
1 Level 1 Evaluation Level 1 Evaluation Level 1 Evaluation
2 Level 1 Ice Breaker Level 1 Ice Breaker NaN NaN
3 Level 1 Fire Level 1 Fire NaN NaN
4 Level 2 Introduction Level 2 Introduction Level 2 Introduction
5 Level 2 Understanding Level 2 Understanding Level 2 Understanding
6 Level 3 Connect Level 3 Connect NaN NaN
7 Level 1 Comedy NaN NaN Level 1 Comedy
8 Level 4 Connect NaN NaN Level 4 Connect这种方法会创建额外的 key_0, key_1 等列来表示连接键，同时原始的 level 和 title 列会分别被重命名为 level_x, title_x（来自 df1）和 level_y, title_y（来自 df2）。虽然也能实现外连接，但通常需要额外的清理步骤来达到与前一种方法相似的输出结构。在需要对合并后的键进行排序时，这种方法可以配合 sort_values 使用：
