本文介绍一种内存友好的方法，利用 groupby().ngroup() 直接为原始 3D 点云数据分配唯一的二维位置索引，避免高内存消耗的 merge 或 loc 查找，适用于千万级点云数据。
本文介绍一种内存友好的方法，利用 `groupby().ngroup()` 直接为原始 3d 点云数据分配唯一的二维位置索引，避免高内存消耗的 `merge` 或 `loc` 查找，适用于千万级点云数据。
在处理大规模三维点云数据（如激光雷达、体素化扫描或网格化实验数据）时，常需先按 (X, Y) 坐标聚类，生成二维空间摘要（如每位置的 Z 统计量），再将该分组的唯一标识（如序号）反向赋值回原始点数据——即实现“逆 groupby 映射”。传统做法（如构造 Series 并用 loc 索引匹配）在数据量达百万级以上时极易引发内存爆炸，尤其当 (X, Y) 存在浮点误差导致重复键膨胀时。
推荐方案：使用 DataFrame.groupby(...).ngroup()
ngroup() 是 pandas 提供的高效内置方法，它为每个分组分配一个从 0 开始的连续整数标签，并直接广播到原始 DataFrame 的每一行，时间复杂度 O(n)，空间复杂度 O(1)（仅新增一列），完全避免中间索引构建与哈希查找开销。
# ✅ 推荐：高效、低内存、一行解决 df3d["idx2d"] = df3d.groupby(["X", "Y"], sort=False).ngroup()
执行后，df3d["idx2d"] 即为对应 df2d 中的行索引（df2d.reset_index().index），且顺序严格一致（因 ngroup() 默认按首次出现顺序编号，与 groupby(...).size()/.agg() 的默认顺序一致）。
? 验证一致性（可选）：
# df2d 已通过 groupby(["X","Y"]) 构建，其 index 是 MultiIndex # 下面确保 idx2d 与 df2d 的 reset_index() 行号一一对应 assert (df3d.groupby(["X","Y"]).ngroup().unique().sort_values() == np.arange(len(df2d))).all()
为什么比其他方法更优？
- ❌
merge(df2d.reset_index())：需复制df3d和df2d全量数据，触发笛卡尔积式连接逻辑，内存占用 ≈O(len(df3d) + len(df2d))，对 2400 万点数据极易超 32GB； - ❌
idx2d.loc[df3d[["X","Y"]].to_records(...)]：构造巨量元组列表并哈希查找，Python 层开销大，且to_records().tolist()会生成冗余对象，内存峰值极高； - ✅
ngroup()：纯 C 实现，不创建新索引结构，仅返回int64数组，内存增量仅为len(df3d) × 8 bytes（约 192MB 对应 2400 万行），可控且稳定。
注意事项：
- 若需保证
idx2d与df2d的物理顺序完全一致（例如后续依赖df2d.iloc[i]与df3d[df3d['idx2d']==i]严格对应），请确保df2d也使用相同groupby参数构建（即sort=False，避免排序引入额外开销和顺序偏移）； - 浮点精度问题：若
X/Y为浮点数且存在微小误差（如-51.99585700000001vs-51.995857），建议预先做合理量化（如round(X, 6)）或使用pd.cut+categories显式离散化，避免意外分组分裂； - 扩展性：该方法天然支持任意数量的分组键（如
["X", "Y", "TIME"]），无需修改逻辑。
综上，groupby(...).ngroup() 是实现“逆 groupby 索引映射”的标准、高效、生产就绪解法，兼顾性能、内存与可读性，应作为处理大规模地理空间或科学测量数据的首选模式。
