urlhaus 等网站通过检测 playwright 的 headless 模式特征（如 navigator.webdriver、缺失的 gpu/字体指纹等）识别自动化流量，导致 405 错误或封禁；本文详解其检测机制，并提供可落地的绕过方案。
urlhaus 等网站通过检测 playwright 的 headless 模式特征（如 navigator.webdriver、缺失的 gpu/字体指纹等）识别自动化流量，导致 405 错误或封禁；本文详解其检测机制，并提供可落地的绕过方案。
在使用 Playwright 自动化访问 URLHaus（https://urlhaus.abuse.ch/）等注重安全防护的网站时，开发者常遇到一个典型现象：启用 headless=True 时请求返回 HTTP 405（Method Not Allowed）或直接被重定向至拦截页；而切换为 headless=False 后页面正常加载——这并非网络或代码逻辑错误，而是目标站点主动实施的基于浏览器环境指纹的反自动化检测。
根本原因在于：现代反爬系统（如 Cloudflare、Distil、或自研 Bot Manager）会综合多项指标判断客户端是否为真实用户，其中 headless 模式是高危信号。Playwright 默认的 headless Chromium 具有以下易被识别的特征：
Manikantasai Playwright Automation
下载
使用Playwright API直接进行浏览器自动化。导航网站、与元素交互、提取数据、截图、生成PDF、录制视频，自动化复杂工作流程。比MCP方法更可靠。
-
navigator.webdriver === true（即使已用add_init_script覆盖，仍可能被其他 JS 层检测）； - 缺失真实 GPU 信息、WebGL 渲染上下文、Canvas/Font 指纹；
- 用户代理（User-Agent）未匹配典型桌面浏览器行为（如缺少
--disable-blink-features=AutomationControlled）； - 窗口尺寸、屏幕像素比（devicePixelRatio）、插件列表（
navigator.plugins）为空或异常。
✅ 有效绕过方案（实测可用）
以下是对原脚本的增强改写，融合指纹伪装、启动参数优化与上下文加固：
from playwright.sync_api import sync_playwright
import json
from pathlib import Path
def scrape_urlhaus():
with sync_playwright() as p:
# 关键：启用真实浏览器参数，禁用自动化标识
browser = p.chromium.launch(
headless=True,
args=[
"--disable-blink-features=AutomationControlled",
"--no-sandbox",
"--disable-setuid-sandbox",
"--disable-gpu",
"--disable-dev-shm-usage",
"--disable-features=IsolateOrigins,site-per-process"
],
slow_mo=1200
)
context = browser.new_context(
viewport={"width": 1366, "height": 768},
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36",
device_scale_factor=1.0,
java_script_enabled=True,
bypass_csp=True
)
# 多层覆盖 webdriver 属性（页面级 + 上下文级）
context.add_init_script("""
Object.defineProperty(navigator, 'webdriver', { get: () => undefined });
window.chrome = { runtime: {} };
Object.defineProperty(navigator, 'plugins', {
get: () => [1, 2, 3, 4, 5]
});
Object.defineProperty(navigator, 'languages', {
get: () => ['en-US', 'en']
});
""")
# 加载可信 cookies（确保 session 合法性）
if Path("urlhaus_cookies.json").exists():
context.add_cookies(json.loads(Path("urlhaus_cookies.json").read_text()))
page = context.new_page()
page.goto("https://urlhaus.abuse.ch/", wait_until="networkidle")
page.screenshot(path="debug_screenshot.png", full_page=True)
# 显式等待并点击导航链接（避免因 JS 延迟导致选择器失败）
page.wait_for_selector('a.nav-link[href="/browse/"]', state="visible", timeout=15000)
page.click('a.nav-link[href="/browse/"]')
page.wait_for_load_state("networkidle")
page.wait_for_selector('table.table.table-sm.table-hover.table-bordered', timeout=20000)
content = page.content()
print("✅ Successfully scraped browse page.")
return content⚠️ 关键注意事项
-
Cookie 时效性：
urlhaus_cookies.json必须包含有效的、未过期的登录/会话 Cookie（建议通过手动登录后导出）；否则即使绕过 headless 检测，仍可能因权限不足被拒。 -
User-Agent 同步：务必确保
user_agent字符串与实际 Chromium 版本匹配（可通过p.chromium.browser_type.executable_path查看版本），否则可能触发 UA 异常检测。 -
避免过度自动化：添加
slow_mo或page.wait_for_timeout()模拟人工操作节奏，降低请求频率（如每 3–5 秒一次），防止触发速率限制。 -
Headless 并非万能解药：若上述方法仍失败，可临时启用
headless=False进行调试，结合page.pause()查看实时 DOM 和 console 报错，定位具体拦截点（如某段 JS 检测了window.outerWidth是否为 0）。
总结而言，对抗反爬不是“开关式”操作，而是对浏览器环境的精细化模拟。Playwright 提供了强大可控性，但需主动补全真实用户具备的所有上下文信号——从硬件特征到行为模式，缺一不可。
