Playwright Python版需用async_playwright()启用异步模式，所有操作必须await；等待JS完成应基于DOM状态、JS变量或网络请求；并发需独立page实例；数据提取应直接读渲染后DOM而非page.content()。
Playwright异步实例不能直接 await page.goto()
Playwright 的 Python 版本（playwright）底层基于 asyncio，但它的 API **默认是同步封装的**。直接在 async 函数里写 await page.goto("https://example.com") 会报 RuntimeError: await was used with a function that was not async —— 因为 page.goto 默认不是协程函数。
正确做法是启用异步驱动模式：
- 必须用
async_playwright()替代sync_playwright() - 所有浏览器、context、page 实例都得在
async with块中创建 - 所有操作方法（
goto,click,inner_text等）自动变成可 await 的协程
from playwright.async_api import async_playwright
<p>async def main():
async with async_playwright() as p:
browser = await p.chromium.launch(headless=True)
context = await browser.new_context()
page = await context.new_page()
await page.goto("<a href="https://www.php.cn/link/c07d8f3be977218f8ba2bcd5e74525ed">https://www.php.cn/link/c07d8f3be977218f8ba2bcd5e74525ed</a>") # ✅ 正确
title = await page.title() # ✅ 返回 str，但调用本身是 awaitable
等待 JS 渲染完成不能只靠 time.sleep() 或 page.wait_for_timeout()
page.wait_for_timeout(2000) 是硬等待，既不可靠又拖慢整体吞吐。JS 渲染完成的信号必须基于 DOM 状态或网络行为，否则大概率取不到真实数据。
推荐按优先级使用以下三类等待方式：
立即学习“Python免费学习笔记（深入）”；
-
await page.wait_for_selector("div#content", state="visible")：等某个关键节点出现在 DOM 且可见 -
await page.wait_for_function("() => window.dataLoaded === true")：等页面 JS 显式标记加载完成（需提前约定好全局变量或函数） -
await page.wait_for_response(lambda r: "api/items" in r.url and r.status == 200)：等关键 XHR/Fetch 请求结束（适合数据由接口填充的场景）
注意：wait_for_selector 默认超时 30s，如页面结构不稳定，建议显式传 timeout=10000 避免卡死。
并发爬取多个 JS 页面时，别复用同一个 page 实例
一个 page 对象不是线程安全的，更不是协程安全的。在 asyncio 并发任务中，如果多个 asyncio.create_task() 共享同一个 page，会出现状态错乱、元素找不到、甚至 Target closed 错误。
正确资源分配方式：
- 每个并发任务应拥有独立的
page（即各自调用context.new_page()） - 不要在循环外创建 page 再 await 多次 goto —— 这本质是串行
- 控制并发数用
asyncio.Semaphore，而非靠减少 page 数量“省资源”
sem = asyncio.Semaphore(3) # 同时最多 3 个页面活跃
<p>async def crawl_one(url):
async with sem:
page = await context.new_page() # ✅ 每个任务独占 page
await page.goto(url)
result = await page.inner_text("h1")
await page.close() # 记得 close，否则 context 资源泄漏
return result
抓取后提取数据，别用 page.content() 解析全文再 bs4
page.content() 返回整个 HTML 字符串，对 SPA 来说往往还是初始骨架（<div id="app"></div>），JS 渲染后的结果并未包含在内 —— 它只反映当前 DOM 快照，但不保证 JS 已执行完。
更稳的提取方式是直接操作 DOM：
- 用
await page.text_content("selector")/inner_text()/get_attribute()，它们读的是实时渲染后的 DOM - 需要复杂解析？用
await page.eval_on_selector("selector", "el => el.outerHTML")把目标节点序列化后交给 bs4 - 绝对避免
BeautifulSoup(page.content(), "html.parser")—— 这等于放弃 Playwright 的核心价值
另外，page.evaluate() 可以运行任意 JS，比如提取 Vue/React 组件状态：await page.evaluate("() => __VUE_DEVTOOLS_GLOBAL_HOOK__.Vue.nextTick")（仅限开发环境）。
真正麻烦的从来不是“怎么等 JS”，而是“怎么确认 JS 确实完成了它该做的事”。Playwright 提供了足够多的钩子，但每个网站的完成信号都不一样——得看 Network 面板里最后一个请求是什么，得翻前端代码找 loading 结束的回调，或者干脆和前端约好一个 window 标志位。没这一步，自动化就只是看起来在跑。
