本文详解 selenium 在循环中逐次变慢的根本原因（chrome 标签页内存泄漏与渲染上下文累积），并提供可立即落地的 tab 重置策略、驱动层配置优化及资源回收规范，助你稳定高效处理百万级页面批量操作。
本文详解 selenium 在循环中逐次变慢的根本原因（chrome 标签页内存泄漏与渲染上下文累积），并提供可立即落地的 tab 重置策略、驱动层配置优化及资源回收规范，助你稳定高效处理百万级页面批量操作。
在使用 Selenium 批量抓取或测试海量页面（如 50 组 × 10 万 ID）时，你可能会观察到一个典型现象：随着循环迭代次数增加，单次 browser.get() 的耗时持续攀升——从 8 秒涨至 36 秒甚至更高。这并非网络波动或目标站点限流所致，而是 Chrome 浏览器实例内部状态持续累积引发的性能衰减（Performance Drift）。核心症结在于：复用同一 WebDriver 实例反复打开新页面，实质上是在单一浏览器进程中不断新建标签页（tab），而旧 tab 的 DOM、JS 上下文、渲染缓冲区、事件监听器等资源并未被彻底释放，导致内存占用线性增长、GC 压力加剧、V8 引擎编译缓存失效，最终拖垮整体响应速度。
✅ 根本解法：主动轮换标签页（Tab Cycling）
如社区验证所证实，最直接有效的缓解手段是每处理约 100 个页面后，主动创建新 tab 并关闭旧 tab，强制 Chrome 重置渲染上下文。这不是“重启浏览器”，而是轻量级的会话隔离，兼顾性能与稳定性：
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time
chrome_driver_way = './chromedriver/chromedriver.exe'
options = Options()
# 必选轻量启动参数（关键！）
options.add_argument('--headless=new') # 使用新版无头模式（非 --headless）
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--disable-gpu')
options.add_argument('--disable-extensions')
options.add_argument('--disable-infobars')
options.add_argument('--log-level=2')
options.add_argument('--ignore-certificate-errors')
# ⚠️ 禁用 Selenium Manager（防境外请求阻塞）
import os
os.environ['SE_DISABLE_MANAGER'] = '1'
for group in groups:
texts = [None] * len(ids)
with webdriver.Chrome(
executable_path=chrome_driver_way, # Selenium < 4.15 兼容写法；≥4.15 请改用 service=Service(...)
options=options
) as browser:
start = time.time()
for n, id in enumerate(ids):
browser.get(url.format(id))
elements = browser.find_elements(By.XPATH, '//div/div/div')
if elements:
texts[n] = elements[0].text
else:
texts[n] = ""
# 每 100 次请求后轮换 Tab（关键稳定点）
if n != 0 and n % 100 == 0:
print(f'group {group}: IDs {n-100}-{n} processed in {time.time() - start:.3f}s')
# 创建新 tab 并切换
browser.switch_to.new_window('tab')
new_handle = browser.current_window_handle
# 关闭除当前外的所有 tab
for handle in browser.window_handles:
if handle != new_handle:
browser.switch_to.window(handle)
browser.close()
browser.switch_to.window(new_handle) # 确保聚焦新 tab
start = time.time()? 原理说明：
switch_to.new_window('tab')触发 Chrome 新建轻量级渲染进程，而批量close()旧 tab 能有效释放其绑定的内存、GPU 缓冲区和 JS 堆栈。实测表明，该策略可将耗时稳定在 9–11 秒/100 请求区间，消除指数级劣化趋势。
? 补充强化项：驱动层与加载策略协同优化
仅靠 Tab 轮换还不够——需同步切断其他性能瓶颈源：
-
禁用 Selenium Manager：设置
os.environ['SE_DISABLE_MANAGER'] = '1'，避免每次启动都尝试访问https://googlechromelabs.github.io/（国内超时达 20+ 秒）； -
启用
eager页面加载策略：在初始化前添加options.page_load_strategy = 'eager'，使driver.get()仅等待DOMContentLoaded，跳过图片/CSS/iframe 加载，提速 3–8 秒； -
显式指定 ChromeDriver 路径 + 预缓存：升级至
selenium>=4.25.1后，可通过SE_DRIVER_MIRROR_URL=https://npmmirror.com/selenium/使用国内镜像，或提前执行webdriver-manager cache clean && webdriver-manager update预下载驱动； -
避免隐式等待污染：禁用
implicitly_wait()，全程使用WebDriverWait配合element_to_be_clickable或visibility_of_element_located，防止查找不存在元素时陷入长等待。
⚠️ 注意事项与最佳实践
-
不要滥用
--disable-images：虽可提速，但若页面逻辑依赖图片加载完成（如懒加载触发器），反而导致元素不可见，建议优先用eager+ 显式等待替代； -
Docker/CI 环境必加
--disable-dev-shm-usage：否则可能因/dev/shm空间不足卡死； -
browser.quit()≠browser.close()：循环内务必用with语句或显式quit()，确保进程彻底退出，避免僵尸进程堆积； -
监控内存基线：可在循环中插入
browser.execute_script("return window.performance.memory.usedJSHeapSize")辅助定位泄漏点。
通过上述组合策略，你将构建出一个抗衰减、可预测、高吞吐的 Selenium 批处理流水线——无论是千万级电商 SKU 抓取，还是大规模合规性扫描，都能维持亚秒级页面响应稳定性。真正的自动化效能，始于对底层机制的敬畏与精准干预。
