Requests Session多线程下不安全,因Cookie、headers和连接池共享导致竞态;推荐每个线程独享Session实例,配合threading.local()懒加载及合理连接池配置。

多线程下直接复用 requests.Session 是不安全的
Requests 的 Session 对象本身不是线程安全的——它的连接池(urllib3.PoolManager)和内部状态(如 cookie jar、headers)在并发读写时可能引发竞态,典型表现是请求莫名失败、cookie 丢失、SSL 连接复用异常,甚至抛出 RuntimeError: reentrant call inside <_io.bufferedwriter object></_io.bufferedwriter> 这类底层 I/O 错误。
根本原因在于:多个线程共用同一个 Session 实例时,会同时操作其共享的 cookies 字典、headers 字典、以及底层连接池中的连接对象,而这些结构未加锁保护。
所以别试图“手动加锁包装 Session”,那只会让并发退化成串行,还掩盖真实问题。
推荐做法:每个线程独占一个 Session 实例
Requests 官方文档明确建议:在多线程环境中,应为每个线程创建独立的 Session 实例。这既避免了锁竞争,又不影响连接复用效果(因为 urllib3 的连接池本身是线程安全的)。
立即学习“Python免费学习笔记(深入)”;
- 使用
threading.local()管理线程局部Session,首次访问时懒创建 - 设置合理的连接池参数(如
pool_connections=10,pool_maxsize=20),防止过多空闲连接耗尽系统资源 - 务必在任务结束时显式调用
session.close(),否则连接可能泄漏(尤其在长时间运行的爬虫中)
示例:
Camoufox 是一个基于 Firefox 构建的开源反检测浏览器,为 Python 自动化工作流程提供强大的指纹注入和反机器人检测规避功能。它与 Playwright 集成,以提供能够绕过现代机器人检测系统的隐身浏览能力。
import threading
import requests
<p>_thread_local = threading.local()</p><p>def get_session():
if not hasattr(_thread_local, 'session'):
_thread_local.session = requests.Session()</p><h1>配置连接池大小(影响复用效率,非线程数)</h1><pre class="brush:php;toolbar:false;"> adapter = requests.adapters.HTTPAdapter(
pool_connections=10,
pool_maxsize=20,
max_retries=3
)
_thread_local.session.mount('http://', adapter)
_thread_local.session.mount('https://', adapter)
return _thread_local.sessiondef fetch_url(url): session = get_session() try: resp = session.get(url, timeout=10) return resp.status_code, len(resp.content) finally:
不要在这里 close() —— 会破坏复用;应在整个线程生命周期结束时 close
pass
什么时候才需要全局共享 Session?
极少数场景下,你确实需要跨线程共享登录态(比如所有线程都必须携带同一套 Cookie 和 Token),但此时真正要共享的只是认证凭证,而不是整个 Session 对象。
- 把
cookies、headers、auth等状态抽出来,用threading.Lock或queue.Queue同步更新 - 每个线程仍用自己独立的
Session,但在每次请求前从共享源注入最新凭证 - 避免在
Session.cookies上直接赋值字典(它不是普通 dict),改用session.cookies.set()或requests.utils.add_dict_to_cookiejar()
错误示范:session.cookies = shared_cookies_dict → 会失效且无提示。
别忽略连接池配置与资源回收
很多人只关注“能不能共享 Session”,却忘了连接池才是性能瓶颈所在。默认的 pool_connections=10 和 pool_maxsize=10 在高并发下极易打满,导致请求排队阻塞。
-
pool_connections控制 Session 能管理多少个 host 的连接池(比如 10 个不同域名各一个池) -
pool_maxsize控制每个 host 池里最多保持多少个空闲连接(复用的关键) - 若线程数远大于
pool_maxsize,大量请求会 fallback 到新建 TCP 连接,失去复用意义 - 长期运行的线程记得定期调用
session.close()并重建,防止 DNS 缓存过期或连接僵死
最易被忽略的一点:即使用了 threading.local(),如果线程频繁创建销毁(比如用 concurrent.futures.ThreadPoolExecutor + 短任务),连接池无法复用,此时应考虑用线程池预热或改用异步(aiohttp)。

















