Playwright在知乎反爬中失败主因是无头模式暴露navigator.webdriver等指纹特征，需通过伪造User-Agent、注入脚本覆盖webdriver及plugins、禁用AutomationControlled等三项配置绕过；同时须模拟滚动、点击展开、轮询等待Vue渲染，并配合住宅代理与请求限频。
Playwright 在知乎这类反爬较强的站点上，直接启用无头模式（headless=True）大概率会触发风控：页面空白、跳转登录页、返回 403 或直接被 cloudflare 拦截。真正能跑通的关键不是“开不开无头”，而是如何让无头浏览器看起来像真实用户。
为什么默认 headless=True 在知乎上几乎必失败
知乎前端会检测 navigator.webdriver、plugins、languages、userAgent 等多个指纹特征。Playwright 默认的无头 Chromium 会暴露 navigator.webdriver === true，且缺少常见插件和字体信息，触发前端 JS 风控逻辑。
- 打开 DevTools → Console 输入
navigator.webdriver，正常 Chrome 返回false，Playwright 无头默认返回true - 知乎首页加载后若立即执行
page.query_selector("div.List-item")返回None，大概率是被静默拦截 - 抓取回答页时若响应 HTML 中含
"data-v-xxxx"但无实际内容，说明 Vue 实例未挂载——JS 被阻断执行
必须启用的三项指纹绕过配置
仅靠 --disable-blink-features=AutomationControlled 不够，需组合覆盖核心检测点：
- 启动时传入伪造的
userAgent和locale，例如：user_agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36" - 用
context.add_init_script()注入脚本，覆盖navigator.webdriver并补全plugins和mimeTypes（可复用 playwright-extra-stealth 的精简版 patch） - 禁用自动化相关 flag：
args=["--disable-blink-features=AutomationControlled", "--disable-features=IsolateOrigins,site-per-process"]
示例关键代码段：
立即学习“Python免费学习笔记（深入）”；
from playwright.sync_api import sync_playwright
<p>with sync_playwright() as p:
browser = p.chromium.launch(
headless=True,
args=[
"--disable-blink-features=AutomationControlled",
"--disable-features=IsolateOrigins,site-per-process"
]
)
context = browser.new_context(
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
locale="zh-CN"
)</p><h1>注入绕过脚本（必须在 new_page 前）</h1><pre class="brush:php;toolbar:false;">context.add_init_script("""
Object.defineProperty(navigator, 'webdriver', { get: () => undefined });
window.chrome = { runtime: {} };
Object.defineProperty(navigator, 'plugins', {
get: () => [1, 2, 3, 4, 5].map(() => ({ name: '', filename: '', description: '' }))
});
""")
page = context.new_page()
page.goto("https://www.zhihu.com/question/123456789")
# 此时再等待并提取才可能成功
抓取回答数据时的两个硬性动作不能省
知乎回答页依赖滚动触底加载、点击「展开」按钮、等待 Vue 渲染完成。单纯 page.wait_for_timeout(3000) 极不可靠。
- 必须用
page.evaluate()主动检查document.querySelectorAll(".List-item").length是否增长，配合page.wait_for_function()轮询，避免提前读空 - 遇到「展开全部」按钮（
button:has-text("展开全部")），需先page.locator().click()并page.wait_for_timeout(800)，否则后续内容不渲染 - 提取文本时优先用
locator.inner_text()而非inner_html()，规避广告模块和干扰节点
代理与请求头的真实感比“是否无头”更重要
即使绕过前端指纹，知乎后端仍会校验 User-Agent、Cookie、Referer 和请求频率。高频请求不用代理必然封 IP。
- 务必使用高质量住宅代理（如 BrightData、Oxylabs），并为每个
context绑定独立 session - 在
context.new_page()后，用page.set_extra_http_headers()补充Referer和Accept-Language - 单个 IP 每分钟请求不要超过 3 次，回答页建议加
time.sleep(random.uniform(2, 5))（注意别在 Playwright 协程里用原生 sleep）
真正卡住人的从来不是“怎么写爬虫”，而是知乎每次改版都会新增一个检测点——比如最近开始校验 canvas 渲染指纹或 WebGL vendor 字符串。这类细节不会报错，只会让你拿到一堆空列表。
