讲师中心 微信公众号

工具推荐

视频效率加速
AniShort
AniShort

AI短剧协同制作平台

Laper
Laper

剧本策划到成片协作

updream

一键生成高质量推广成片

剧云
剧云

中文短剧剧本制作平台

如何使用 Selenium 正确抓取动态网页中的表格数据

大雪姑娘_4046

大雪姑娘_4046

发布时间:2026-01-17 11:25:13

|

1019人浏览过

|

来源于php中文网

原创

如何使用 Selenium 正确抓取动态网页中的表格数据

本文详解 selenium 抓取动态加载表格时常见的定位失败问题,提供基于显式等待的健壮解决方案,并修正过时 api 用法,确保稳定获取 `

CSS工具箱(专业版)
CSS工具箱(专业版)

全功能 CSS 工程手册,覆盖性能优化、无障碍、设计系统与跨浏览器兼容。

下载
` 中的行数。

在使用 Selenium 提取动态网页(如 AJAX 渲染的表格)时,直接调用 find_element 很容易因元素尚未加载而抛出 NoSuchElementException。原始代码中尝试通过 //*[@id="result"]/table 定位表格,但目标页面实际并不存在 ID 为 "result" 的容器元素——这是导致异常的根本原因。此外,find_elements_by_tag_name() 已在 Selenium 4+ 中被彻底弃用,必须改用 By.TAG_NAME 配合 find_elements()。

更可靠的做法是:跳过无效中间容器,直接定位页面中唯一的

,并配合显式等待确保 DOM 完全就绪。以下是优化后的完整示例:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 启动浏览器(推荐使用 WebDriver Manager 自动管理驱动版本)
driver = webdriver.Chrome()  # 无需手动指定 chromedriver 路径(需安装 webdriver-manager)
url = "https://draft.shgn.com/nfc/public/dp/788/grid"
driver.get(url)

# 显式等待:等待表格的所有行(<tr>)可见(最多 10 秒)
wait = WebDriverWait(driver, 10)
table_rows = wait.until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, "table tr")))

print(f"成功获取 {len(table_rows)} 行数据")
# 如需进一步解析,可遍历每行提取单元格文本:
# for row in table_rows:
#     cells = row.find_elements(By.TAG_NAME, "td")
#     print([cell.text.strip() for cell in cells])

driver.quit()  # 推荐使用 quit() 而非 close(),确保会话彻底释放

✅ 关键改进点说明:

  • 移除错误定位器:不再依赖不存在的 #result ID,改用语义明确的 table tr CSS 选择器;
  • 强制显式等待:visibility_of_all_elements_located 确保所有
不仅存在,而且可见、可交互;
  • API 兼容性升级:全面采用 Selenium 4 标准写法(By.* + find_elements),避免 DeprecationWarning;
  • 资源安全释放:使用 driver.quit() 关闭整个浏览器实例,防止后台进程残留。
  • ⚠️ 注意事项:

    • 若页面含 iframe,需先 driver.switch_to.frame(...) 切入对应上下文;
    • 遇到反爬机制(如 Cloudflare 拦截),需添加 options.add_argument("--disable-blink-features=AutomationControlled") 并隐藏 WebDriver 特征;
    • 生产环境建议搭配 webdriver-manager 自动下载匹配版本驱动,避免路径硬编码与版本不兼容问题。

    通过以上调整,即可稳定、高效地从动态网页中提取表格结构化数据。

    热门AI工具

    更多
    豆包大模型

    豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

    WorkBuddy

    一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

    讯飞绘文

    讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

    二狗PPT
    二狗PPT Hot

    一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

    SkildArt
    SkildArt Hot

    SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

    讯飞智文

    一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

    Seko
    Seko Hot

    一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

    超级简历WonderCV

    一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

    DeepSeek

    DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

    相关专题

    更多
    ajax教程
    ajax教程

    php中文网为大家带来ajax教程合集,Ajax是一种用于创建快速动态网页的技术。通过在后台与服务器进行少量数据交换,Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。php中文网还为大家带来ajax的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

    3380

    2023.06.14

    ajax中文乱码解决方法
    ajax中文乱码解决方法

    ajax中文乱码解决方法有设置请求头部的字符编码、在服务器端设置响应头部的字符编码和使用encodeURIComponent对中文进行编码。本专题为大家提供ajax中文乱码相关的文章、下载、课程内容,供大家免费下载体验。

    360

    2023.08.31

    ajax传递中文乱码怎么办
    ajax传递中文乱码怎么办

    ajax传递中文乱码的解决办法:1、设置统一的编码方式;2、服务器端编码;3、客户端解码;4、设置HTTP响应头;5、使用JSON格式。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

    3193

    2023.11.15

    ajax网站有哪些
    ajax网站有哪些

    使用ajax的网站有谷歌、维基百科、脸书、纽约时报、亚马逊、stackoverflow、twitter、hacker news、shopify和basecamp等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

    1181

    2024.09.24

    DOM是什么意思
    DOM是什么意思

    dom的英文全称是documentobjectmodel,表示文件对象模型,是w3c组织推荐的处理可扩展置标语言的标准编程接口;dom是html文档的内存中对象表示,它提供了使用javascript与网页交互的方式。想了解更多的相关内容,可以阅读本专题下面的文章。

    6541

    2024.08.14

    iframe写法有哪些
    iframe写法有哪些

    iframe写法有基本Iframe写法、嵌套Iframe写法、自适应宽高的Iframe写法、带有样式和属性的Iframe写法、内联Iframe写法和使用JavaScript动态创建Iframe写法。种写法都有自己的特点和适用场景。根据实际需求,选择合适的写法可以实现所需的功能和效果。

    2623

    2023.10.19

    软件测试常用工具
    软件测试常用工具

    软件测试常用工具有Selenium、JUnit、Appium、JMeter、LoadRunner、Postman、TestNG、LoadUI、SoapUI、Cucumber和Robot Framework等等。测试人员可以根据具体的测试需求和技术栈选择适合的工具,提高测试效率和准确性 。

    5150

    2023.10.13

    java测试工具有哪些
    java测试工具有哪些

    java测试工具有JUnit、TestNG、Mockito、Selenium、Apache JMeter和Cucumber。php还给大家带来了java有关的教程,欢迎大家前来学习阅读,希望对大家能有所帮助。

    3541

    2023.10.23

    Postman身份认证怎么配置
    Postman身份认证怎么配置

    本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

    40

    2026.11.06

    热门下载

    更多
    网站特效
    /
    网站源码
    /
    网站素材
    /
    前端模板

    精品课程

    更多
    相关推荐
    /
    热门推荐
    /
    最新课程
    关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
    php中文网:公益在线php培训,帮助PHP学习者快速成长!
    关注服务号
    PHP中文网订阅号
    每天精选资源文章推送

    Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn