masked array比np.nan更适合处理invalid值，因其用独立mask布尔数组标记无效位置，计算时自动忽略被掩码元素，而np.nan会污染整个计算链。
masked array 为什么比直接用 np.nan 更适合处理 invalid 值
因为 np.nan 会污染整个计算链：只要参与运算的数组里有 np.nan，多数聚合函数（如 np.mean()、np.std()）默认返回 nan，除非显式加 nanmean 这类变体。而 np.ma.masked_array 把“无效”和“数据存在但值为 nan”区分开——mask 是独立布尔标记，原始数据可保留（比如 -999、0 或 inf），计算时自动跳过被 mask 的位置，且所有 np.ma 函数（如 np.ma.mean）默认忽略 masked 元素。
如何正确创建 masked array 而不踩 mask 逻辑的坑
常见错误是误用 mask=True 全局掩码，或混淆 fill_value 和实际数据。关键点：
-
np.ma.masked_array(data, mask)中mask必须与data形状一致，True表示该位置被屏蔽（即无效），False表示有效 - 用
np.ma.masked_invalid(data)最安全：它自动把np.nan、np.inf、-np.inf对应位置设为True，无需手写条件 - 若用数值标记无效值（如
-999），必须用np.ma.masked_equal(data, -999)，不能直接改 data 里的值再塞进mask参数——否则原数据丢失 -
fill_value只影响.filled()输出，不影响计算逻辑，别指望靠它“修复”数据
计算时哪些函数会自动适配 mask，哪些不会
所有以 np.ma. 开头的函数（如 np.ma.mean、np.ma.std、np.ma.sum）都尊重 mask；但普通 np. 函数（如 np.mean）完全无视 mask，直接对底层 .data 数组运算，结果不可信。
Miller CSV TSV JSON 数据处理器
下载
Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。
容易忽略的点：
-
arr.mean()（实例方法）等价于np.ma.mean(arr)，安全；但np.mean(arr)不安全 - 二元运算如
arr1 + arr2会自动对齐 mask：只有两者都 unmasked 的位置才参与计算，任一被 mask 则结果对应位置也被 mask - 比较操作（
arr > 0）返回的是普通布尔数组，mask 信息丢失，如需保留 mask，得用np.ma.masked_where重包
从 masked array 安全导出结果的三种方式
导出前必须明确目的：是要剔除无效值后的纯数值（用于绘图/存 csv），还是保留结构但填充值（用于下游非 ma 模块），或是检查哪些位置被 mask（调试用）。
- 取有效值列表：
arr.compressed()—— 返回一维 ndarray，只含未被 mask 的元素，顺序按原数组扁平化顺序 - 填充后转普通数组：
arr.filled(fill_value=np.nan)—— 把被 mask 位置替换成fill_value，结果是标准np.ndarray - 提取 mask 状态：
arr.mask—— 布尔数组，True即原位置被屏蔽，可用于统计缺失比例或定位问题点
最常被忽略的是：arr.data 直接暴露底层数据（含原 invalid 值），不是“去掉无效值后的数据”，千万别误用它做后续计算。
