根本原因是直接设置 scrollTop 不触发 scroll 事件和 IntersectionObserver 回调,懒加载依赖真实滚动行为;应改用 page.mouse.wheel 或 page.keyboard.press 模拟渐进滚动,并配合 wait_for_selector 等动态等待机制。

为什么 page.evaluate 滚动到底部后数据仍不加载?
常见现象是:调用 page.evaluate("window.scrollTo(0, document.body.scrollHeight)") 后,页面看似到底了,但新内容没触发加载。根本原因在于懒加载通常监听的是 scroll 事件或 IntersectionObserver,而直接设置 scrollTop 不会触发原生滚动行为(比如滚动动画、事件冒泡、视口变化检测)。Playwright 的 page.evaluate 是同步执行 JS,不会模拟真实用户“滚动过程”,导致 IntersectionObserver 认为目标元素始终不可见。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 改用
page.mouse.wheel(0, 1000)或page.keyboard.press("PageDown")模拟渐进式滚动,让浏览器真正触发 scroll 事件和 Observer 回调 - 滚动后必须等待新内容出现,不能只靠
time.sleep();优先用page.wait_for_selector("your-item-selector", state="attached", timeout=5000) - 如果目标元素有 loading 状态(如
data-loading="true"),可加条件等待:page.wait_for_function('document.querySelector(".item")?.dataset.loading !== "true"')
如何判断无限滚动已到底、停止抓取?
没有统一的“到底”信号,必须结合页面特征做主动探测。硬等固定次数或时间极易漏数据或死循环。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 记录每次滚动前的元素数量(如
len(page.query_selector_all(".list-item"))),滚动 + 等待后再次计数;若两次相等且已过合理超时(如 8 秒无新增),视为结束 - 检查是否出现“无更多”提示节点:
page.query_selector(".no-more") or page.query_selector_text("没有更多了") - 捕获网络请求更可靠:启用
page.route监听分页 API(如/api/items?page=2),当某次滚动后未发出新请求且无新 DOM 节点,即可终止
使用 page.get_by_text 或 page.locator 抓取动态插入的内容要注意什么?
懒加载内容插入 DOM 后,元素可能延迟渲染(如 Vue/React 的 nextTick)、CSS 动画未完成、或被 display: none 临时隐藏,导致 locator 查找不到或状态不对。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 避免用
page.text_content()直接读取父容器——它返回快照式 HTML,不含动态插入内容;改用locator.inner_text()或locator.text_content()(后者会等待元素可见) - 对列表项用
page.locator(".list-item").all()获取实时 NodeList,再逐个.inner_text();不要先query_selector_all再调.text_content(),后者在元素未挂载时返回None - 若元素有入场动画,加
state="visible"参数:page.locator(".list-item").first.wait_for(state="visible", timeout=3000)
性能与稳定性:为什么不能无限制滚动?
持续滚动会让页面 DOM 节点暴增,内存占用飙升,Playwright 进程可能被系统 OOM kill,或触发浏览器崩溃(尤其 Chromium 无 headless 新窗口时)。另外,部分网站会检测滚动频率,触发反爬验证。
实操建议:
立即学习“Python免费学习笔记(深入)”;
- 设定最大滚动次数(如 50 次)和总耗时上限(如 120 秒),任一满足即退出
- 每次滚动后清理非必要节点(谨慎):
page.evaluate("document.querySelectorAll('.ad-banner, .sponsored').forEach(el => el.remove())") - 启用
--disable-gpu --no-sandbox --disable-dev-shm-usage启动参数防 Chromium 崩溃;生产环境务必加timeout和catch异常处理
最易被忽略的一点:有些站点的懒加载依赖 window.devicePixelRatio 或 screen.width,Headless 模式下这些值可能异常,导致 IntersectionObserver 判定失败。启动浏览器时显式设置 viewport 和 device scale:playwright.chromium.launch(headless=True, args=["--force-device-scale-factor=1"]),并用 page.set_viewport_size({"width": 1920, "height": 1080})。


















