不能用json.dump()一次性写整个列表，因内存线性增长易崩溃、中途出错全丢数据、JSON不支持追加；必须用逐行JSONL格式，每行一个独立JSON对象，用json.dumps()转字符串后追加换行符。
为什么不能用 json.dump() 一次性写整个列表
直接把所有数据攒成一个大列表再用 json.dump() 写入，看似简单，但实际极易崩溃：内存会随抓取量线性增长，10万条记录可能吃掉 2GB+ 内存；一旦中途出错（如网络中断、解析异常），整批数据全丢；JSON 格式本身也不支持“追加”——你没法在已有 JSON 文件末尾再塞一条合法 JSON 对象。
必须用逐行 JSONL（即 NDJSON）格式写入
JSONL 是每行一个独立 JSON 对象的纯文本格式，天然适合流式写入。关键点在于：每次只序列化单个字典，用 json.dumps() 转成字符串，手动加换行，然后 f.write() 追加。不要用 json.dump() 的 indent 或 ensure_ascii 等参数，它们会破坏单行结构。
实操建议：
- 打开文件时务必用
mode="a"（追加）或mode="a+"，避免覆盖历史数据 - 每行结尾必须是
\n，且不能有多余空格或逗号 - 写入前对字段做基础清洗，比如把
None转成""或null，否则json.dumps()会报TypeError - 示例写法：
import json with open("data.jsonl", "a", encoding="utf-8") as f: for item in batch: # 清洗 None 值 safe_item = {k: (v if v is not None else "") for k, v in item.items()} f.write(json.dumps(safe_item, ensure_ascii=False) + "\n")
如何防止写入过程中崩溃导致文件损坏
JSONL 文件不怕“断点”，但怕某一行写到一半中断（比如程序被 kill、磁盘满）。只要保证每行是完整、可解析的 JSON，哪怕只写入了 999 行，第 1000 行没写完，也不会影响前 999 行读取。
立即学习“Python免费学习笔记（深入）”；
Claw Code Suite (Python-Only Edition)
下载
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
更稳妥的做法：
- 用
try/except包裹单次写入，失败时记录日志并跳过该条，不中断主流程 - 避免在循环内频繁打开/关闭文件——在爬虫主循环外打开一次，写完再关；否则 I/O 开销大，还容易触发系统文件句柄限制
- 如果需强一致性（例如金融类数据），可先写入临时文件
data.jsonl.tmp，写完用os.replace()原子替换，但普通爬虫没必要 - 别依赖
f.flush()或os.fsync()——它能降低丢失风险，但无法完全避免，且显著拖慢速度；按需启用即可
读取时要注意换行符和编码问题
很多人写完 JSONL 后用 pandas.read_json("data.jsonl", lines=True) 报错，常见原因有两个：一是 Windows 下写入用了 \r\n，而 lines=True 默认按 \n 切分；二是文件含 BOM 头（尤其用记事本保存过）。
安全读取方式：
- 写入时统一用
encoding="utf-8"，不加 BOM（Python 默认就不加） - 读取时显式指定
encoding="utf-8"，pandas 示例：import pandas as pd df = pd.read_json("data.jsonl", lines=True, encoding="utf-8") - 若遇到解析失败，可用生成器逐行读取排查：
with open("data.jsonl", "r", encoding="utf-8") as f: for i, line in enumerate(f, 1): try: data = json.loads(line.strip()) except json.JSONDecodeError as e: print(f"Line {i} error: {e}, raw: {repr(line)}")
逐行写入本身很简单，难的是保持「每行都合法」和「写入过程不干扰主逻辑」——这两点漏掉任何一个，后期查数据就变成翻日志找哪一行少了个引号。
