在日常数据处理工作中，我们经常会遇到需要从多个文件中提取并关联特定信息的需求。例如，给定一个包含 ip 地址列表的文件、一个包含 ip-mac 映射关系的文件，以及一个包含 mac-端口映射关系的文件，我们的目标是根据 ip 地址依次查找对应的 mac 地址和端口信息。传统的做法可能涉及嵌套的文件读取和逐行字符串匹配，这不仅代码复杂，效率也较低。python 的 pandas 库为这类任务提供了强大而简洁的解决方案。
1. 准备工作：导入 Pandas 并加载数据
首先，我们需要导入 Pandas 库。然后，将每个文本文件的数据加载到 Pandas DataFrame 中。虽然实际应用中通常使用 pd.read_csv() 等函数从文件中读取数据，但为了演示方便，我们将按照原始数据结构手动创建 DataFrame。
import pandas as pd
# 文件1: 仅包含IP地址列表
df1 = pd.DataFrame({
"ipv4": ["1.1.1.1", "1.1.1.2", "1.1.1.3", "1.1.1.6", "1.1.1.11"]
})
# 文件2: 包含IP地址和MAC地址的映射关系
df2 = pd.DataFrame({
"Protocol": ["Internet", "Internet", "Internet", "Internet", "Internet", "Internet", "Internet"],
"Address": ["1.1.1.1", "1.1.1.2", "1.1.1.3", "1.1.1.4", "1.1.1.5", "1.1.1.6", "1.1.1.11"],
"Age (min)": ["5", "-", "-", "0", "0", "64", "23"],
"Addr": ["6026.aa11.1111", "0006.f2d2.2d2f", "6026.aa33.3333", "Incomplete", "Incomplete", "fa16.6edb.6666", "fa16.7e7d.7777"],
"Type": ["A", "A", "A", "A", "A", "A", "A"],
"Interface": ["Ethernet1/49", "Vlan1", "Vlan1", None, None, "Vlan1", "Vlan1"]
})
# 文件3: 包含MAC地址和端口的映射关系
df3 = pd.DataFrame({
"vlan":[1,1,1,1,1],
"mac address":["6026.aa11.1111","0006.f2d2.2d2f","6026.aa33.3333","fa16.6edb.6666","fa16.7e7d.7777"],
"type":["static","dynamic","dynamic","dynamic","dynamic"],
"protocols":["ip,ipx,assigned,other","ip,ipx,assigned,other","ip,ipx,assigned,other","ip,ipx,assigned,other","ip,ipx,assigned,other"],
"port":["Switch"," Ethernet1/24"," Ethernet1/12"," Ethernet1/8"," Ethernet1/10"]
})
print("df1:")
print(df1)
print("\ndf2:")
print(df2)
print("\ndf3:")
print(df3)注意事项:
- 在实际应用中，如果你的数据存储在 file1.txt, file2.txt, file3.txt 等文件中，你可以使用 pd.read_csv('file1.txt', header=None, names=['ipv4']) 或 pd.read_csv('file2.txt', sep='\s+', skiprows=1) 等方法来加载数据。skiprows 参数用于跳过标题行，sep='\s+' 用于处理不规则空格分隔的数据。
- 确保列名与你的合并逻辑相匹配，或者在加载时进行重命名。
2. 数据关联与合并
Pandas 的 merge() 函数是实现数据关联的核心工具。它类似于 SQL 中的 JOIN 操作，可以根据一个或多个共同的列将两个 DataFrame 合并起来。
我们的目标是：
- 将 df1 (IP列表) 与 df2 (IP-MAC映射) 合并，基于 df1 的 ipv4 列和 df2 的 Address 列。
- 将上一步合并的结果与 df3 (MAC-端口映射) 合并，基于中间结果的 Addr 列和 df3 的 mac address 列。
我们将使用 how="inner" 参数进行内连接，这意味着只有在两个 DataFrame 中都存在的键值才会被保留在结果中。
从 CSV 数据集生成图数据库加载器和三元组映射。将表格 CSV 数据转换为图数据库可直接使用的节点、边和三元组。
# 第一次合并：df1 (IP) 与 df2 (IP-MAC)
# 基于 df1 的 'ipv4' 列和 df2 的 'Address' 列进行合并
merged_ip_mac = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address")
# 第二次合并：merged_ip_mac (IP-MAC) 与 df3 (MAC-端口)
# 基于 merged_ip_mac 的 'Addr' 列和 df3 的 'mac address' 列进行合并
final_df = merged_ip_mac.merge(df3, how="inner", left_on="Addr", right_on="mac address")
print("\n最终合并后的 DataFrame (final_df):")
print(final_df)在上述代码中：
- left_on 指定左侧 DataFrame 中用于合并的列。
- right_on 指定右侧 DataFrame 中用于合并的列。
- how="inner" 表示只保留在两个 DataFrame 的指定列中都存在的行。
3. 提取并格式化所需信息
合并完成后，final_df 包含了所有关联后的数据。我们现在只需要从中提取 ipv4、Addr (MAC地址) 和 port 这三列信息。
# 提取所需的列
output_df = final_df[["ipv4", "Addr", "port"]]
print("\n提取所需信息后的 DataFrame:")
print(output_df)
# 按照指定格式打印结果
print("\n最终输出结果:")
for index, row in output_df.iterrows():
print(f"ip {row['ipv4']} addr {row['Addr']} port {row['port'].strip()}") # 使用.strip()去除可能存在的空格这里，我们首先通过 final_df[["ipv4", "Addr", "port"]] 选择了感兴趣的列，创建了一个新的 DataFrame output_df。然后，我们遍历 output_df 的每一行，并使用 f-string 按照要求的格式打印输出。注意 row['port'].strip() 的使用，这是为了去除 file3 中 port 列可能存在的额外空格，以确保输出格式的整洁性。
总结
通过本教程，我们学习了如何利用 Pandas 库高效地处理多文件数据关联与提取任务。相较于传统的文件逐行处理方式，Pandas 的 DataFrame 和 merge() 函数提供了以下显著优势：
- 代码简洁性： 几行代码即可完成复杂的数据关联逻辑。
- 处理效率： Pandas 底层使用 C 语言实现，对大数据集处理性能优越。
- 数据结构化： 将非结构化的文本数据转换为结构化的 DataFrame，便于后续的分析和操作。
- 可读性强： merge 操作的语义清晰，易于理解和维护。
在实际应用中，灵活运用 pd.read_csv()、merge() 的不同 how 参数（如 left, right, outer）以及其他 DataFrame 操作，可以解决各种复杂的数据处理挑战。
