
本文介绍如何使用 pandas 的 groupby + mean 方法,为包含多组评估指标(precision/recall/f1-score)的 DataFrame 高效添加每类指标在 _BETTER、_SAME、_WORSE 三列上的平均值行,并统一标记为 All 数据集与 _avg 后缀指标名。
本文介绍如何使用 pandas 的 groupby + mean 方法,为包含多组评估指标(precision/recall/f1-score)的 dataframe 高效添加每类指标在 `_better`、`_same`、`_worse` 三列上的平均值行,并统一标记为 `all` 数据集与 `_avg` 后缀指标名。
在机器学习模型评估中,常需汇总不同数据集(如 Train/Val/Test)上同一评估指标(如 precision、recall、f1-score)在多个维度(如 _BETTER/_SAME/_WORSE)的表现,并计算其跨数据集的平均值,以形成更稳健的总体参考。手动切分子集再逐列求平均不仅冗长易错,还难以维护。推荐采用 pandas.DataFrame.groupby(..., sort=False).mean() 一站式完成:先按 Metric 列分组(保持原始顺序),对数值列 _BETTER、_SAME、_WORSE 执行均值聚合,再构造新行并拼接回原表。
以下为完整实现步骤(含可直接运行的示例):
import pandas as pd
import io
# 构造示例数据(注意列名与空格对齐)
text = """_BETTER _SAME _WORSE ___dataset Metric
0.373802 0.816794 0.568783 Train precision
0.391304 0.865229 0.519324 Train recall
0.382353 0.840314 0.542929 Train f1-score
0.500000 1.000000 0.583333 Val precision
0.333333 1.000000 0.736842 Val recall
0.400000 1.000000 0.651163 Val f1-score
0.000000 0.000000 0.666667 Test precision
0.000000 0.000000 0.500000 Test recall
0.000000 0.000000 0.571429 Test f1-score
"""
df = pd.read_csv(io.StringIO(text), sep=r'\s+')
# ✅ 关键步骤:按 Metric 分组求均值(sort=False 保持原始顺序,如 f1-score 在最后)
grouped_means = df.groupby('Metric', sort=False)[['_BETTER', '_SAME', '_WORSE']].mean()
# 添加新列:___dataset = 'All'
grouped_means['___dataset'] = 'All'
# 修改索引:为每个 Metric 添加 '_avg' 后缀(如 'precision' → 'precision_avg')
grouped_means.index = grouped_means.index + '_avg'
# 重置索引,使 Metric 成为普通列
avg_rows = grouped_means.reset_index()
# 拼接原表与均值行,重置最终索引
df_with_avg = pd.concat([df, avg_rows], ignore_index=True)
print(df_with_avg)输出效果节选:
_BETTER _SAME _WORSE ___dataset Metric 0 0.373802 0.816794 0.568783 Train precision 1 0.391304 0.865229 0.519324 Train recall 2 0.382353 0.840314 0.542929 Train f1-score ... 9 0.291267 0.605598 0.606261 All precision_avg 10 0.241546 0.621743 0.585389 All recall_avg 11 0.260784 0.613438 0.588507 All f1-score_avg
注意事项:
- 必须显式指定
sort=False,否则groupby默认按字典序排序(f1-score会排在precision前),破坏指标逻辑顺序; - 聚合时应明确传入列名列表
[['_BETTER', '_SAME', '_WORSE']],避免非数值列(如___dataset)干扰或触发警告; - 若原始数据中存在缺失值(NaN),
mean()默认跳过,如需控制行为,可加参数skipna=False; - 最终
pd.concat(..., ignore_index=True)确保索引连续且无重复,便于后续索引操作。
该方法简洁、可扩展性强——若新增 accuracy 指标,仅需在原始数据中添加对应行,无需修改聚合逻辑。

















