本文介绍如何使用 pandas 的 format="iso8601" 参数一次性、高性能地解析同时包含 yyyy-mm-dd hh:mm:ss 和 yyyy-mm-dd hh:mm:ss.fff 两种格式的时间戳列，彻底避免 nat 错误和低效的逐行循环解析。
本文介绍如何使用 pandas 的 format="iso8601" 参数一次性、高性能地解析同时包含 yyyy-mm-dd hh:mm:ss 和 yyyy-mm-dd hh:mm:ss.fff 两种格式的时间戳列，彻底避免 nat 错误和低效的逐行循环解析。
在处理高频时序数据（如金融 tick 数据、传感器日志或网络事件流）时，常遇到一种典型场景：时间戳列中混杂着整秒格式（如 "2023-12-30 00:00:00"）和带微秒/毫秒的亚秒格式（如 "2023-12-30 00:00:00.123"）。若直接调用 pd.to_datetime() 默认解析，pandas 会依据首行格式推断整体格式——导致其余不匹配格式的条目被强制转为 NaT，且无法通过 errors='coerce' 恢复。
传统方案（如自定义循环解析或多轮掩码向量化）虽可行，但存在明显缺陷：
- 手动 apply() + 多格式尝试 → 严重性能退化（Python 层循环，无法利用 pandas 底层优化）；
- 分步掩码解析 → 逻辑复杂、易出错，且仍需多次调用 to_datetime，未发挥向量化优势。
✅ 正确解法：启用 pandas 2.0+ 内置的 format="ISO8601" 模式。
该参数并非指严格校验 ISO 8601 标准字符串，而是启用 pandas 对 ISO 8601 兼容变体的智能弹性解析引擎——它原生支持秒级与亚秒级时间戳的混合输入，自动识别并统一转换为高精度 datetime64[ns] 类型，无需任何预处理或格式猜测。
以下为完整示例：
import pandas as pd
# 混合格式时间戳（首行为整秒 / 首行为亚秒）
timestamps_full_first = [
"2023-12-30 00:00:00",
"2023-12-30 00:00:00.1",
"2023-12-30 00:00:00.9",
"2023-12-30 00:00:01"
]
timestamps_sub_first = [
"2023-12-30 00:00:00.1",
"2023-12-30 00:00:00.9",
"2023-12-30 00:00:01",
"2023-12-30 00:00:01.1"
]
# ✅ 一行解决：指定 format="ISO8601" + utc=True + errors='coerce'
dt_full = pd.to_datetime(timestamps_full_first, format="ISO8601", utc=True, errors='coerce')
dt_sub = pd.to_datetime(timestamps_sub_first, format="ISO8601", utc=True, errors='coerce')
print("首行为整秒：", dt_full)
print("首行为亚秒：", dt_sub)输出结果（无 NaT）：
首行为整秒： DatetimeIndex(['2023-12-30 00:00:00+00:00', '2023-12-30 00:00:00.100000+00:00',
'2023-12-30 00:00:00.900000+00:00', '2023-12-30 00:00:01+00:00'],
dtype='datetime64[ns, UTC]', freq=None)
首行为亚秒： DatetimeIndex(['2023-12-30 00:00:00.100000+00:00', '2023-12-30 00:00:00.900000+00:00',
'2023-12-30 00:00:01+00:00', '2023-12-30 00:00:01.100000+00:00'],
dtype='datetime64[ns, UTC]', freq=None)⚠️ 关键注意事项：
- 版本要求：format="ISO8601" 是 pandas ≥ 2.0 的特性，旧版本（如 1.5.x）不支持，升级前请确认 pd.__version__；
- 时区处理：务必显式设置 utc=True（或 tz='UTC'），否则可能因本地时区推断导致意外偏移；
- 错误容忍：errors='coerce' 仍建议保留，可将真正非法字符串（如 "invalid"）安全转为 NaT，而非抛异常；
- 性能表现：相比手动循环或分步掩码，ISO8601 模式全程由 Cython 加速，解析百万级时间戳通常仅需数百毫秒。
总结：面对混合精度时间戳，放弃“猜格式”和“多轮解析”的思维定式，直接采用 pd.to_datetime(..., format="ISO8601")——这是 pandas 官方为该类问题提供的最简洁、最健壮、最高性能的标准解法。
