本文介绍如何使用 pandes 的 `groupby().transform('nunique')` 高效识别同一组（如相同国家与年份）内数值列不一致的行，并统一标记为“invalid”，适用于数据清洗与质量校验场景。
在实际数据分析中，常需校验结构化数据的一致性——例如，当多条记录具有相同的业务主键（如 Country 和 Reference Year 组合），但关键指标（如 value）却存在差异，就表明数据存在冲突或录入错误，需被标记为无效。
上述问题的核心在于：对每组 (Country, Reference Year)，判断其 value 是否完全一致；若组内 value 取值数量 > 1，则整组所有行均视为“Invalid”。直接使用 == 进行逐行比较（如原尝试中的 df1[['Country',...]] == df1[['Country',...]]）会引发广播维度错误，因为 Pandas 无法对整个 DataFrame 执行行间两两比对逻辑。
正确解法是利用分组聚合 + 广播式赋值，推荐使用 transform('nunique')：
import pandas as pd
import numpy as np
df1 = pd.DataFrame(
data=[['Afghanistan','2015','5.1'],
['Afghanistan','2015','6.1'],
['Bahrain','2020',''],
['Bahrain','2020','32'],
['Bahrain','2021','32'],
['Bahrain','2022','32']],
columns=['Country', 'Reference Year', 'value']
)
# 标记逻辑：同组内 value 值种类数 > 1 → Invalid
df1['Validity'] = np.where(
df1.groupby(['Country', 'Reference Year'])['value'].transform('nunique') > 1,
'Invalid',
'Valid'
)执行后输出如下：
域名有效性检查，验证企业网站域名有效、无效状态。帮助销售团队、市场人员和研究人员检查公司域名、提升邮件触达率——是 CRM数据清洗、销售线索验证、供应商核验、邮件列表清洗的必备工具，适用于外贸邮件群发前清洗、招聘背调与采购商核实。
下载
核验域名可用性、安全状态及风险标记，输出验证结论、失败原因和敏感标签，清理风险域名，优化外贸邮件列表，降低退信概率。
Country Reference Year value Validity 0 Afghanistan 2015 5.1 Invalid 1 Afghanistan 2015 6.1 Invalid 2 Bahrain 2020 Invalid 3 Bahrain 2020 32 Invalid 4 Bahrain 2021 32 Valid 5 Bahrain 2022 32 Valid
✅ 关键说明：
- transform('nunique') 会为每组返回该组 value 的唯一值个数，并自动广播至组内每一行，结果与原始 DataFrame 行数对齐；
- 空字符串 '' 与 '32' 被视为不同值（nunique=2），因此第2、3行被正确标记为 Invalid；
- 若需将空值（'' 或 NaN）视作缺失并忽略参与比较，可先做预处理：df1['value'] = df1['value'].replace('', np.nan)，再进行 transform。
⚠️ 注意事项：
- nunique 默认跳过 NaN，若字段含空字符串需显式替换，否则会影响去重逻辑；
- 此方法时间复杂度为 O(n)，远优于手动双循环或 apply，适合中大型数据集；
- 若需进一步定位冲突值，可附加列：df1['conflict_values'] = df1.groupby(['Country', 'Reference Year'])['value'].transform(lambda x: ';'.join(x.unique()))。
该方案简洁、向量化、可读性强，是 Pandas 数据一致性校验的标准实践之一。
