
本文详解如何将含多层嵌套(含 datetime 键与单位信息)的 python 字典批量转为规范化的 pandas dataframe,支持任意数量传感器和时间点,并完成列重命名、类型转换与字段清洗。
本文详解如何将含多层嵌套(含 datetime 键与单位信息)的 python 字典批量转为规范化的 pandas dataframe,支持任意数量传感器和时间点,并完成列重命名、类型转换与字段清洗。
在实际物联网或气象数据处理中,常遇到类似 {'data.outdoor.temperature': {'unit': '℃', 'list': {datetime(2025,4,23,10): 22.3, ...}}} 这类结构:外层为指标路径,内层含单位与时间序列映射。直接使用 pd.DataFrame.from_dict() 或 json_normalize 无法正确展开嵌套的 list 字典(因其键为 datetime 对象,非标准字符串索引)。以下提供一种简洁、可扩展、生产就绪的转换方案。
✅ 核心转换流程(一行链式操作)
import pandas as pd
import datetime
# 示例数据(已修正为真实 datetime 对象,非字符串)
my_dict = {
'data.outdoor.temperature': {
'unit': '℃',
'list': {
datetime.datetime(2025, 4, 23, 10, 0): 22.3,
datetime.datetime(2025, 4, 23, 14, 0): 21.3,
datetime.datetime(2025, 4, 23, 18, 0): 18.2,
}
},
'data.indoor.temperature': {
'unit': '℃',
'list': {
datetime.datetime(2025, 4, 23, 10, 0): 23.2,
datetime.datetime(2025, 4, 23, 14, 0): 23.5,
datetime.datetime(2025, 4, 23, 18, 0): 22.9,
}
}
}
# 一行式转换(推荐)
df = (
pd.DataFrame.from_dict(my_dict, orient='index')
.set_index('unit', append=True)['list']
.apply(pd.Series)
.stack()
.reset_index(name='temp')
)
# 列重命名与清洗
df.columns = ['sensor_path', 'unit', 'timestamp', 'temp']
df['sensor_path'] = df['sensor_path'].str.replace(r'^data\.', '', regex=True) # → 'outdoor.temperature'
df['temp'] = pd.to_numeric(df['temp'], errors='coerce') # 强制转数值,异常置 NaN
# 可选:拆分 timestamp 为日期、小时等字段(适配你的目标格式)
df['date'] = df['timestamp'].dt.strftime('%Y_%m_%d')
df['hour'] = df['timestamp'].dt.hour
# 最终输出(按需求排序)
result = df[['sensor_path', 'date', 'hour', 'temp', 'unit']].copy()
print(result)输出示例:
sensor_path date hour temp unit 0 outdoor.temperature 2025_04_23 10 22.3 ℃ 1 outdoor.temperature 2025_04_23 14 21.3 ℃ 2 outdoor.temperature 2025_04_23 18 18.2 ℃ 3 indoor.temperature 2025_04_23 10 23.2 ℃ 4 indoor.temperature 2025_04_23 14 23.5 ℃ 5 indoor.temperature 2025_04_23 18 22.9 ℃
⚠️ 关键注意事项
-
务必确保
list中的 key 是datetime对象:原始问题中datetime.datetime(...)是字符串,需先用ast.literal_eval或正则解析修复,否则apply(pd.Series)会失败。建议数据接入时即做类型校验。 -
性能优化:对数百至数千条记录,该方案仍高效;若超万级,可改用
pd.concat([pd.Series(v['list']).rename(k) for k, v in my_dict.items()])预聚合再stack(),减少中间 DataFrame 构造开销。 -
空值与异常处理:
pd.to_numeric(..., errors='coerce')将非法温度值转为NaN,便于后续清洗;errors='raise'可用于调试阶段快速定位脏数据。 -
扩展性提示:如新增
'data.battery.voltage'等指标,无需修改逻辑——只要保持{'unit': str, 'list': {datetime: value}}结构,代码完全兼容。
此方法避免了手动循环、递归 flatten 或临时列表拼接,充分利用 Pandas 的索引操作与函数式链式调用,兼具可读性、健壮性与工程实践性。转换后的 DataFrame 可直接用于 to_sql() 写入 SQL Server,或进一步聚合分析。

















