lxml.etree.Parser 不可跨线程复用，必须为每个线程单独创建 HTMLParser 实例；推荐使用 threading.local 封装以保证线程安全，避免解析错乱、segfault 等问题。
lxml.etree.Parser 不可跨线程复用
直接在多个线程里共用同一个 etree.XMLParser 或 etree.HTMLParser 实例，会导致解析错乱、内存访问异常甚至进程崩溃。这不是偶发 bug，而是 lxml 明确不保证解析器对象的线程安全性——它内部维护命名空间栈、错误处理器、实体解析状态等非共享上下文。
常见错误现象包括：XMLSyntaxError 位置偏移异常、None 节点意外出现、解析中途卡死或 segfault。这些往往在压力测试时才暴露，但根源就是 parser 实例被并发修改。
- 不要缓存 parser 实例（哪怕加了
@staticmethod或global） - 不要把 parser 作为类属性或模块级变量初始化后反复传入
etree.fromstring() -
etree.parse()默认使用全局 parser，同样不安全，必须显式传入线程本地实例
用 ThreadLocal 封装 HTMLParser 实例
这是最轻量、零依赖、且被 lxml 官方测试验证过的做法：每个线程独占一个 HTMLParser，复用成本极低，且避免了锁竞争。
示例代码：
立即学习“前端免费学习笔记（深入）”；
import threading from lxml import etree <p>_parser_local = threading.local()</p><p>def get_html_parser(): if not hasattr(_parser_local, 'parser'): _parser_local.parser = etree.HTMLParser(recover=True, encoding='utf-8') return _parser_local.parser</p><p>def parse_html(html_bytes): return etree.fromstring(html_bytes, parser=get_html_parser())
注意：recover=True 对 HTML 很关键，能容忍常见语法错误；encoding 必须与输入字节流一致，否则可能触发 UnicodeDecodeError。
别把 etree.XSLT 当 parser 用
etree.XSLT 对象是线程安全的，可以全局复用，但它不是解析器——它只接收已解析的 etree.ElementTree 或 etree.Element，不能直接处理原始 HTML 字符串或 bytes。
如果你误写成这样：
# ❌ 错误：XSLT 不接受 raw HTML transform = etree.XSLT(xsl_tree) result = transform(html_bytes) # TypeError: expected an Element or ElementTree
就会报错。正确流程必须是：先用线程安全的 HTMLParser 解析出树，再交给 XSLT 处理。
大规模并发时优先考虑 etree.fromstring + bytes
比起 etree.parse(filename) 或 etree.parse(io.BytesIO(...))，直接用 etree.fromstring(html_bytes, parser=...) 性能更好、内存更可控——它跳过文件 I/O 和缓冲区封装，尤其适合从网络响应中拿到的 bytes 数据。
但要注意两点：
- 输入必须是
bytes，不是str；若你拿到的是字符串，请先 encode（例如html_str.encode('utf-8')） - 如果 HTML 声明了编码（如
<meta charset="gb2312">），HTMLParser不会自动重解码，需确保传入的bytes编码与 parser 的encoding参数一致
真正容易被忽略的，是 parser 的 encoding 参数和输入 bytes 编码之间的隐式耦合——它们不匹配时不会立刻报错，而是静默产生乱码或截断，排查起来非常隐蔽。
