Pandas教程：保留DataFrame中指定列的非首次重复行

本文详细介绍了如何在Pandas DataFrame中高效筛选并保留指定列的重复行，同时排除每组重复数据中的首次出现。通过利用Pandas内置的duplicated()方法及其默认参数，可以简洁快速地实现这一数据清洗需求，避免手动迭代或复杂逻辑，从而优化数据处理流程。

在数据分析和处理过程中，我们经常需要处理包含重复记录的数据集。有时，我们的目标是识别并保留所有重复项，但要排除每组重复数据中的第一个出现。例如，在一个客户交易记录表中，我们可能只关心客户的第二次及后续交易，而忽略他们的首次交易。pandas库提供了duplicated()方法，可以非常优雅地解决这类问题。

理解 duplicated() 方法

Pandas DataFrame或Series的duplicated()方法用于标记重复的行或元素。它返回一个布尔型Series，其中True表示该行或元素是重复的，而False表示它是唯一的或者首次出现的。

duplicated()方法有一个关键参数keep，它决定了如何处理重复项：

• keep='first' (默认值): 将除了第一次出现之外的所有重复项标记为True。这是本教程所需的核心行为。
• keep='last': 将除了最后一次出现之外的所有重复项标记为True。
• keep=False: 将所有重复项（包括第一次和最后一次出现）都标记为True。

当我们需要保留指定列的非首次重复行时，duplicated()方法的默认行为（keep='first'）恰好符合我们的需求。

实际操作步骤与示例

假设我们有一个包含客户ID、支付日期和支付金额的DataFrame，我们希望筛选出每个client_id的非首次交易记录。

1. 准备示例数据

首先，我们创建一个示例DataFrame来模拟实际场景：

import pandas as pd

# 原始数据
data = {
    'client_id': ['067858', '168226', '141424', '141424', '151525', '168226', '067858', '151525'],
    'payment_date': ['2021-05-30', '2021-05-30', '2021-05-31', '2021-06-01', '2021-06-01', '2021-06-02', '2021-06-05', '2021-06-07'],
    'value': [140.00, 150.00, 100.00, 150.00, 150.00, 115.00, 143.00, 82.00]
}
df = pd.DataFrame(data)
df['payment_date'] = pd.to_datetime(df['payment_date'])

print("原始DataFrame:")
print(df)

输出的原始DataFrame如下：

原始DataFrame:
  client_id payment_date  value
0    067858   2021-05-30  140.0
1    168226   2021-05-30  150.0
2    141424   2021-05-31  100.0
3    141424   2021-06-01  150.0
4    151525   2021-06-01  150.0
5    168226   2021-06-02  115.0
6    067858   2021-06-05  143.0
7    151525   2021-06-07   82.0

2. 使用 duplicated() 筛选数据

要保留client_id列中除首次出现外的所有重复行，我们只需对client_id列应用duplicated()方法，然后使用布尔索引来筛选DataFrame。

# 应用 duplicated() 方法，默认 keep='first'
# 这将返回一个布尔Series，True表示该client_id是重复的（非首次出现）
is_duplicate_except_first = df['client_id'].duplicated()

# 使用布尔索引筛选DataFrame
df_filtered = df[is_duplicate_except_first]

print("\n筛选后的DataFrame (保留非首次重复行):")
print(df_filtered)

执行上述代码后，我们将得到期望的输出：

筛选后的DataFrame (保留非首次重复行):
  client_id payment_date  value
3    141424   2021-06-01  150.0
5    168226   2021-06-02  115.0
6    067858   2021-06-05  143.0
7    151525   2021-06-07   82.0

可以看到，对于client_id为'141424'、'168226'、'067858'和'151525'的记录，其首次出现已经被排除，只保留了后续的重复记录。

注意事项与总结

• 默认参数的妙用： duplicated()方法的默认参数keep='first'完美契合了“保留所有重复项，但排除首次出现”的需求，使得代码极其简洁。
• 多列重复判断： 如果需要基于多列的组合来判断重复，可以将一个列名列表传递给duplicated()方法，例如df.duplicated(subset=['client_id', 'payment_date'])。
• 性能： Pandas的duplicated()方法在底层经过高度优化，对于大型数据集也能提供高效的性能。相比于手动迭代或使用复杂的循环逻辑，它是一个更优的选择。
• 反向操作： 如果你想要获取所有唯一行和每组重复行的首次出现（即删除所有重复项，只保留首次），可以使用df.drop_duplicates(subset=['client_id'], keep='first')。
• 其他keep参数：
  • 如果你想保留所有重复项，但排除最后一次出现，可以使用df[df['client_id'].duplicated(keep='last')]。
  • 如果你想保留所有重复项（包括首次和末次），可以使用df[df['client_id'].duplicated(keep=False)]。

通过本文的介绍，您应该已经掌握了如何使用Pandas的duplicated()方法高效地筛选并保留DataFrame中指定列的非首次重复行。这一技巧在数据清洗、特征工程等多个数据处理环节中都非常实用。

以上就是Pandas教程：保留DataFrame中指定列的非首次重复行的详细内容，更多请关注php中文网其它相关文章！