
本文介绍如何将多层嵌套、含时间序列与元信息(如单位)的 python 字典,一键转换为结构清晰、可直接用于数据库写入的扁平化 dataframe,并支持大规模数据(百条以上)高效处理。
本文介绍如何将多层嵌套、含时间序列与元信息(如单位)的 python 字典,一键转换为结构清晰、可直接用于数据库写入的扁平化 dataframe,并支持大规模数据(百条以上)高效处理。
在实际物联网或气象数据处理场景中,常遇到类似 my_dict 的嵌套结构:外层键为传感器路径(如 'data.outdoor.temperature'),内层包含单位('unit')和以 datetime 为键、数值为值的时间序列字典('list')。直接使用 pd.DataFrame.from_dict() 或 json_normalize 无法自动展开这种“键-值对映射+元数据并存”的结构,需结合索引操作与向量化展开。
以下为推荐的一步式转换方案(已验证适用于数百至数千条记录):
import pandas as pd
import datetime
# ✅ 正确构造:datetime 对象作为 dict key(非字符串)
my_dict = {
'data.outdoor.temperature': {
'unit': '℃',
'list': {
datetime.datetime(2025, 4, 23, 10, 0): 22.3,
datetime.datetime(2025, 4, 23, 14, 0): 21.3,
datetime.datetime(2025, 4, 23, 18, 0): 18.2,
}
},
'data.indoor.temperature': {
'unit': '℃',
'list': {
datetime.datetime(2025, 4, 23, 10, 0): 23.2,
datetime.datetime(2025, 4, 23, 14, 0): 23.5,
datetime.datetime(2025, 4, 23, 18, 0): 22.9,
}
}
}
# ? 核心转换链式操作(高性能、无循环)
df = (
pd.DataFrame.from_dict(my_dict, orient='index')
.set_index('unit', append=True)['list'] # 提取 list 列,保留两级索引(path + unit)
.apply(pd.Series) # 将每个 dict → Series(自动对齐 datetime keys)
.stack() # 展开为 (path, unit, datetime) → value 的三元组
.reset_index(name='temp') # 重置索引,命名数值列为 'temp'
)
# ? 后处理:列重命名与清洗
df.columns = ['sensor_path', 'unit', 'datetime', 'temp']
df['sensor_path'] = df['sensor_path'].str.replace(r'^data\.', '', regex=True) # 去除前缀
df['temp'] = pd.to_numeric(df['temp'], errors='coerce') # 强制转数值型
# ? 可选:按需求拆分 datetime(如题中要求的 '2025_04_23' 和 '14')
df['date_str'] = df['datetime'].dt.strftime('%Y_%m_%d')
df['hour'] = df['datetime'].dt.hour
# 最终目标格式(按题意排列)
result = df[['sensor_path', 'date_str', 'hour', 'temp', 'unit']].copy()
print(result)输出示例:
sensor_path date_str hour temp unit 0 outdoor.temperature 2025_04_23 10 22.3 ℃ 1 outdoor.temperature 2025_04_23 14 21.3 ℃ 2 outdoor.temperature 2025_04_23 18 18.2 ℃ 3 indoor.temperature 2025_04_23 10 23.2 ℃ 4 indoor.temperature 2025_04_23 14 23.5 ℃ 5 indoor.temperature 2025_04_23 18 22.9 ℃
⚠️ 关键注意事项:
-
必须确保
list中的 key 是datetime对象,而非字符串(如'datetime.datetime(2025, ...)'),否则apply(pd.Series)无法识别时间索引,导致展开失败; -
stack()操作依赖pd.Series的索引对齐能力,因此原始字典的 datetime key 必须统一且可哈希; - 若原始数据中存在缺失时间点,
pd.Series会自动填充NaN,后续可用dropna()清理; - 处理超大规模数据(>10万行)时,建议将
apply(pd.Series)替换为预分配列表 +pd.concat([pd.Series(...)] * n),避免 apply 的隐式循环开销。
该方法兼顾简洁性与性能,无需显式 for 循环,充分利用 Pandas 的向量化索引操作,是处理此类嵌套时间序列字典的标准实践。

















