
本文详解如何基于分组后的 dataframe 数据,在 python 循环中正确构建含多层嵌套结构的 json-like 输出,重点解决因重复赋值导致的字段覆盖问题,并提供可复用的键分离策略与字典合并技巧。
本文详解如何基于分组后的 dataframe 数据,在 python 循环中正确构建含多层嵌套结构的 json-like 输出,重点解决因重复赋值导致的字段覆盖问题,并提供可复用的键分离策略与字典合并技巧。
在数据聚合场景中,常需将扁平化的表格结构(如客户-保单-收据关系)转换为层次化嵌套结构:每个客户(customer_id)对应一个顶层对象,其 attributes 字段包含基础信息(如姓名、联系方式),而 policy_details 则是一个列表,容纳该客户名下所有保单及其关联收据等明细。原始代码的问题在于——在 for j in i["attributes"] 循环中反复对同一字典 attributes 的相同键(如 "Policy_No"、"Receipt_No")赋值,导致仅保留最后一次迭代的值,从而丢失历史记录。
要实现预期的嵌套结构,关键在于职责分离与结构隔离:
- 将不变的基础属性(如
u_fn,u_ln,u_em等)从首条记录中提取一次; - 将可变的明细属性(如
Company_ID,Branch_ID,Policy_No,Receipt_No)逐条收集为独立字典列表; - 最后通过字典合并(
|运算符)组合成最终结构。
以下为优化后的完整实现(兼容 Python 3.9+):
import pandas as pd
import json
# 构造示例数据(同原文)
df = pd.DataFrame({
'type': ['customer','customer','customer','customer'],
'customer_id': ['1-0000001','1-0000001','1-0000002','1-0000002'],
'u_fn': ['TestUser1_FirstName','TestUser1_FirstName','TestUser2_FirstName','TestUser2_FirstName'],
'u_ln': ['TestUser1_LastName','TestUser1_LastName','TestUser2_LastName','TestUser2_LastName'],
'Customer_Type_ID': ['ΦΥΣΙΚΟ','ΦΥΣΙΚΟ','ΦΥΣΙΚΟ','ΦΥΣΙΚΟ'],
'u_em': ['<a class="__cf_email__" data-cfemail="84e7f1f7f0ebe9e1f6b5c4ebf0e1eae1f0aae3f6" href="/cdn-cgi/l/email-protection">[email protected]</a>','<a class="__cf_email__" data-cfemail="f1928482859e9c9483c0b19e85949f9485df9683" href="/cdn-cgi/l/email-protection">[email protected]</a>','<a class="__cf_email__" data-cfemail="cdaeb8beb9a2a0a8bfff8daaa0aca4a1e3aea2a0" href="/cdn-cgi/l/email-protection">[email protected]</a>','<a class="__cf_email__" data-cfemail="c5a6b0b6b1aaa8a0b7f785a2a8a4aca9eba6aaa8" href="/cdn-cgi/l/email-protection">[email protected]</a>'],
'u_mb': ['6900000001','6900000001','6900000002','6900000002'],
'# of policies':[2,2,2,2],
'Company_ID': [2,2,2,2],
'Branch_ID': [5,5,5,5],
'Policy_No': ['000000001','000000001','000000002','000000002'],
'Receipt_No': ['420000001','420000002','430000001','430000002']
})
# 步骤1:按 customer_id 分组,生成每客户的原始属性列表
grouped = df.groupby('customer_id').apply(
lambda x: x[['u_fn', 'u_ln', 'Customer_Type_ID', 'u_em', 'u_mb',
'Company_ID', 'Branch_ID', 'Policy_No', 'Receipt_No', '# of policies']].to_dict('records')
).reset_index(name='attributes')
# 步骤2:定义字段分类,提升可维护性
attribute_keys = ["u_fn", "u_ln", "Customer_Type_ID", "u_em", "u_mb", "# of policies"]
policy_details_keys = ["Company_ID", "Branch_ID", "Policy_No", "Receipt_No"]
# 步骤3:构建最终嵌套结果
results = []
for contact in grouped.to_dict('records'):
# 提取基础属性(取第一条记录即可,因同客户下这些值一致)
base_attrs = {key: contact["attributes"][0][key] for key in attribute_keys}
# 构建 policy_details 列表(遍历所有记录,提取明细字段)
policies = [
{key: item[key] for key in policy_details_keys}
for item in contact["attributes"]
]
# 合并基础属性与明细列表
attributes = base_attrs | {"policy_details": policies}
# 组装最终对象
results.append({
"Id": contact["customer_id"],
"attributes": attributes
})
# 输出验证(格式化 JSON)
print(json.dumps(results, indent=4, ensure_ascii=False))✅ 核心要点总结:
- 避免覆盖:不再在循环内反复写入同一字典,而是先提取不变字段,再单独构建列表;
-
键分离策略:显式声明
attribute_keys和policy_details_keys,使逻辑清晰、易于扩展; -
字典合并:利用
|运算符安全合并字典,替代易出错的手动赋值; -
性能友好:无需额外嵌套
groupby或中间列,全程基于内存数据操作。
⚠️ 注意事项:
- 若基础字段(如
u_fn)在同客户下存在不一致,需改用mode()或自定义聚合逻辑; - Python dict1 | dict2 替换为
{**dict1, **dict2}; - 实际生产环境建议添加异常处理(如空
attributes列表校验),增强鲁棒性。
该方案不仅解决了原始问题,更形成了一种可迁移的数据结构转换范式,适用于各类“一对多”关系的嵌套建模需求。

















