如何在 Python 中使用 Selenium WebDriver 有效检测网页（无限滚动）何时已完全加载？

如何使用 Selenium WebDriver for Python 等待页面加载

从无限滚动实现的网页中抓取数据时，至关重要的是有效检测页面何时完全加载新内容。本文探讨了一种比每次滚动后等待固定时间间隔更省时的方法。

默认页面加载机制

默认情况下，Selenium WebDriver 的 .get () 方法等待页面完全加载。但是，这不考虑在框架内或通过 AJAX 请求加载。

对特定元素使用 WebDriverWait

等待特定元素在页面，将 WebDriverWait() 与预期条件一起使用。例如：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

delay = 3 # seconds
driver = webdriver.Firefox()
driver.get("url")
try:
    myElem = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'id-of-element')))
    print("Page is ready!")
except TimeoutException:
    print("Loading took too much time!")

注意事项

请注意，WebDriverWait 仅等待指定的元素或条件变为 true。如果等待其他元素或条件，您可能需要使用自定义代码来检测页面加载完成。

以上是如何在 Python 中使用 Selenium WebDriver 有效检测网页（无限滚动）何时已完全加载？的详细内容。更多信息请关注PHP中文网其他相关文章！