应使用WebDriverWait等待图片元素可见后再提取真实src,优先读data-src属性,再fallback到src;需滚动触发表现、过滤非图片请求,并考虑直连API等替代方案。

用 Selenium 等待图片元素可见再提取 src
异步加载的图片通常初始 src 是占位符(如 data-src、src="about:blank" 或为空),真实 URL 在 JS 渲染后才写入。直接用 requests + BeautifulSoup 拿不到,必须等 DOM 更新。
推荐用 WebDriverWait 配合 presence_of_element_located 或 visibility_of_element_located:
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
<h1>等待 img 元素存在且 visible,再取真实 src</h1><p>img = WebDriverWait(driver, 10).until(
EC.visibility_of_element_located((By.CSS_SELECTOR, "img[data-src]"))
)
real_src = img.get_attribute("data-src") or img.get_attribute("src")-
visibility_of_element_located比presence_of_element_located更可靠——它要求元素不仅在 DOM 中,还要可渲染(宽高 > 0) - 优先尝试读
data-src,再 fallback 到src;有些站点懒加载后会把data-src移除或清空 - 超时设为 10 秒较稳妥;太短易失败,太长拖慢整体速度
监听 Network 请求捕获图片 URL(仅限 Chrome DevTools Protocol)
当图片由 XHR/Fetch 加载(比如 JSON 接口返回图片列表,再由 JS 插入 <img>),DOM 等待可能无效。此时需从网络层拦截请求,但标准 Selenium 不支持,得用 cdp(Chrome DevTools Protocol)。
借助 undetected-chromedriver 或 selenium-wire 可实现,但要注意:
立即学习“Python免费学习笔记(深入)”;
-
selenium-wire会代理所有流量,能直接拿到response.body和request.url,适合分析接口规律;但它不兼容无头模式下的某些反爬策略 - 原生
cdp调用(通过driver.execute_cdp_cmd)可开启网络监听,但只能捕获请求 URL 和响应头,拿不到完整响应体(除非启用Fetch.enable并手动 fulfill) - 常见误判:把字体、SVG、埋点请求也当图片抓了——过滤时务必检查
response.headers.get("content-type")是否含image/
识别并触发懒加载行为(滚动、hover、JS 手动调用)
很多页面靠滚动触发动态加载,Selenium 默认不触发 viewport 内检测逻辑。不滚动,data-src 就不会转成 src。
- 执行
driver.execute_script("arguments[0].scrollIntoView(true);", img_elem)让元素进入视口,再等 0.5 秒 - 部分站点监听
mouseenter,对容器元素做elem.click()或elem.send_keys("")可模拟交互 - 极少数用
IntersectionObserver且禁用了 polyfill,老版本 Chrome 可能不触发——换 Chromium 115+ 或加--enable-features=IntersectionObserverV2启动参数
绕过前端、直连 API(最稳定但需逆向)
如果页面本质是 React/Vue 单页应用,图片数据大概率来自某个 /api/v1/images?... 接口。这时抓包(F12 → Network → Img/XHR 标签)比等 DOM 更高效。
- 找带分页、offset、cursor 参数的请求,复制
curl命令,用requests.Session()复现,跳过浏览器 - 注意 headers:尤其是
User-Agent、Referer、X-Requested-With,缺一可能返回 403 - Token 类认证(如
Authorization: Bearer xxx)往往有效期短,需从登录响应或 localStorage 提取,不能硬编码
真正难的不是等图片出现,而是判断“该等哪个元素”“该监听哪类请求”“要不要补全 Referer 或 Cookie”。这些细节没对齐,脚本跑十次八次都可能漏图。


















