直接用asyncio.gather(*[page.goto(u) for u in urls])必然失败,因未确保page已通过await context.new_page()创建,协程悬空;共享context导致状态污染;且无Semaphore限流引发资源耗尽崩溃。

直接用 asyncio.gather() 把上万个 page.goto() 扔进去,不出三秒就会触发 Chromium 崩溃、内存 OOM 或 TimeoutError: Page.goto: Timeout 30000ms exceeded。这不是并发瓶颈,是资源失控。
为什么 gather(*[page.goto(u) for u in urls]) 必然失败
这个写法看似“并发”,实则踩了三个硬伤:
-
page.goto()前必须确保page实例已通过await context.new_page()完整创建;而列表推导式里page.goto(u)是未 await 的协程对象,gather拿到的是悬空状态,不是可用页面 - 所有页面共享同一个
context时,cookie、localStorage、JS 执行上下文互相污染,一个页面卡死(比如某个广告脚本死循环),整个 context 下所有页面都挂住 -
gather不做限流 —— 上万任务瞬间创建上万个 Page 实例,Chromium 进程直接被系统 kill,日志里常见Failed to create a new page
必须分三阶段 + Semaphore 控制生命周期
Playwright 多页面并发不是“一起发请求”,而是“分槽位调度页面全生命周期”。正确结构是:
- 先批量创建
context(非复用):每个context独立隔离,避免状态污染 - 每个
context内用asyncio.Semaphore(10)控制最大活跃页面数(建议 8–15,视内存调整) - 每个页面完整走完
new_page() → goto() → evaluate() → close(),且全部操作加await
示例关键片段:
立即学习“Python免费学习笔记(深入)”;
Camoufox 是一个基于 Firefox 构建的开源反检测浏览器,为 Python 自动化工作流程提供强大的指纹注入和反机器人检测规避功能。它与 Playwright 集成,以提供能够绕过现代机器人检测系统的隐身浏览能力。
sem = asyncio.Semaphore(12)
async def fetch_one(url):
async with sem:
context = await browser.new_context(
viewport={"width": 1280, "height": 720},
user_agent="Mozilla/5.0 (X11; Linux x86_64)..."
)
page = await context.new_page()
try:
await page.goto(url, wait_until="networkidle")
title = await page.title()
return title
finally:
await context.close() # 不是 page.close(),要关 contextasyncio.gather 的传参陷阱与容错配置
gather 只接收未 await 的协程对象,不是函数名,也不是已 await 的结果:
- ✅ 正确:
await asyncio.gather(*[fetch_one(u) for u in urls[:100]]) - ❌ 错误:
await asyncio.gather(*[await fetch_one(u) for u in urls])(语法错误) - ❌ 错误:
await asyncio.gather(fetch_one, fetch_one)(传了函数对象,没调用)
上万 URL 分批处理,每批 100 个,并启用 return_exceptions=True 避免单个失败中断整批:
for i in range(0, len(urls), 100):
batch = urls[i:i+100]
results = await asyncio.gather(
*[fetch_one(u) for u in batch],
return_exceptions=True
)
# results 中每个元素要么是 str,要么是 Exception 实例headless 和性能参数不配好,再多并发也白搭
默认 headless=True 在新版 Chromium 中实际是旧模式,容易因 GPU 渲染冲突崩溃;同时未禁用图片/字体加载会拖慢首屏和内存占用:
- 显式设
headless="new"启用新版无头模式 - 加
args=["--disable-gpu", "--no-sandbox", "--disable-dev-shm-usage"] - 用
page.route()拦截图片/CSS/字体请求(若只需文本内容) -
wait_until="networkidle"比"load"更稳,但别在弱网场景下盲目依赖 —— 可加超时兜底:timeout=15000
真正卡住上万页面的,从来不是代码逻辑,而是 Chromium 进程没被正确约束:每个 context 是独立渲染进程,每个 page 是标签页级资源,不控制数量,系统先扛不住。

















