必须用lance库读写.lance文件，不可用pandas或pyarrow原生方法；需pip install lance（非lancedb）；读取用lance.dataset()，写入须显式提供schema；filter仅支持基础表达式；数据集不可变，删改需重写。
lance 文件读写要用 lance 库，不是 pyarrow 或 pandas 原生支持
Python 里直接用 pandas.read_parquet 或 pyarrow.parquet.read_table 打不开 .lance 文件——它压根不是 Parquet，而是 LanceDB 自研的列式格式，依赖自己的 C++ 后端。不装 lance 包，连 import 都会报 ModuleNotFoundError。
实操建议：
- 必须
pip install lance（注意不是lancedb，后者是数据库封装层，带额外依赖） -
lance目前只支持 Python 3.9+，macOS/Linux 稳定；Windows 上得用 WSL 或等 wheel 更新 - 读取时别用
pd.read_parquet("data.lance")，正确写法是：import lance<br>dataset = lance.dataset("data.lance")<br>table = dataset.to_table() - 如果表很大，
to_table()会全量加载进内存；想流式读或条件过滤，用dataset.scanner(filter=...)
写入 lance 数据集要显式指定 schema，不能靠 pandas 自推
lance.write_dataset 不接受裸 DataFrame，也不自动 infer schema。传个没定义 schema 的表进去，会报 ValueError: Schema must be provided，而不是默默处理。
常见错误现象：把清洗好的 df 直接扔给 lance.write_dataset(df, "out.lance")，结果失败。
立即学习“Python免费学习笔记（深入）”；
实操建议：
- 先用
pa.schema(...)显式构造 schema，尤其注意时间类型得用pa.timestamp("us")而非pa.timestamp("s")（Lance 默认微秒精度） - 字符串列推荐用
pa.string()，别用pa.large_string()（Lance 当前不支持） - 写入示例：
import pyarrow as pa<br>import lance<br><br>schema = pa.schema([<br> pa.field("id", pa.int64()),<br> pa.field("text", pa.string()),<br> pa.field("ts", pa.timestamp("us"))<br>])<br>lance.write_dataset(df, "out.lance", schema=schema) - 如果 df 已有 Arrow 表结构（比如从 parquet 读来的），可直接取
df.schema复用，但务必检查字段类型是否兼容
filter 查询快，但不支持所有 SQL-like 表达式
Lance 的 scanner(filter=...) 能下推谓词、跳过行组，比 Pandas 全表过滤快得多。但它不是 SQL 引擎——像 "col LIKE '%abc%'" 或嵌套函数调用（"upper(col) == 'X'"）会直接报错或静默降级为全扫。
使用场景：适合等值查询（"id == 123"）、范围（"ts > '2024-01-01'"）、in-list（"tag in ('a', 'b')"）。
实操建议：
- filter 字符串必须是 Lance 支持的表达式语法，参考其
Expression文档，别套用 Pandas query 习惯 - 字符串匹配只支持
==和!=，不支持str.contains类操作；模糊匹配得靠外部预处理或向量检索 - 数值比较要注意类型对齐，比如
"score > 0.5"中score是 int16，就得写成"score > 0.5f"或转成 float32 schema - 复杂逻辑拆成多步：先 filter 主键范围，再用 Pandas 处理剩余列的计算
删除和更新只能通过 overwrite + filter 实现，没有原地修改
Lance 数据集是不可变的（immutable）。所谓“删除某几行”，本质是读出满足条件的行，再写回一个新数据集——旧文件不会被擦除，得手动清理或靠版本管理。
容易踩的坑：以为 dataset.delete("id == 123") 是就地删，结果发现磁盘空间没少，甚至查不到变化。
实操建议：
- 真要删，得用
lance.write_dataset写新路径，再删旧目录；或者用dataset.version().restore()回滚（前提是开了 versioning） - 更新某列？没
UPDATE语句。得：读表 →set_column或append_column→ 写新 dataset - 高频小更新不适合 Lance；它适合“写一次，读多次”的分析场景。日更批量替换比单条 upsert 更稳
- 如果必须支持行级变更，考虑上层加 Delta Lake 或 Iceberg 封装，别硬刚 Lance 底层
schema 定义和 filter 表达式的边界最易被忽略——写错一个类型或语法，错误信息往往不直观，得翻 C++ 日志或看 GitHub issues 才能定位。
