讲师中心 微信公众号
AI工具推荐 视频效率加速

如何用 BeautifulSoup 正确解析嵌套 HTML 表格中的油价数据

浅丽君_3705

浅丽君_3705

发布时间:2026-10-02 11:00:31

|

946人浏览过

|

来源于php中文网

原创

如何用 BeautifulSoup 正确解析嵌套 HTML 表格中的油价数据

本文详解为何 CSS 选择器返回 None,并提供健壮的 BeautifulSoup 解析方案,解决因省略 或结构动态变化导致的定位失败问题。

本文详解为何 css 选择器返回 `none`,并提供健壮的 beautifulsoup 解析方案,解决因省略 `

` 或结构动态变化导致的定位失败问题。

在使用 BeautifulSoup 解析网页数据(如加拿大 NBEUB 石油价格页面)时,常见错误是过度依赖浏览器开发者工具自动生成的“精确”CSS 路径(例如含大量 > tbody > 的层级选择器)。但实际 HTML 中,许多 <table> 元素<strong>并不显式包含 <code><tbody> 标签——浏览器会自动补全,而 <code>BeautifulSoup 解析原始 HTML 时则严格按源码结构匹配。因此,当选择器中强制要求 tbody 存在时(如 table > tbody > tr),若源码中实际为 table > tr,select_one() 将直接返回 None。

修正核心在于:改用更鲁棒的后代选择器(descendant selector),移除对 <tbody> 的硬性依赖,并适当简化路径。例如,将原选择器:<pre class="brush:php;toolbar:false;">body &gt; table &gt; tbody &gt; tr:nth-child(5) &gt; td &gt; table &gt; tbody &gt; tr &gt; td &gt; table &gt; tbody &gt; tr &gt; td:nth-child(3) &gt; table &gt; tbody &gt; tr:nth-child(3) &gt; td:nth-child(2)</pre><p>替换为:</p><div class="aritcle_card flexRow"> <div class="artcardd flexRow"> <a class="aritcle_card_img" href="/xiazai/skill5806" title="html-deploy"><img src="https://img.php.cn/upload/skill/000/000/081/179066538882434.jpg" alt="html-deploy" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a> <div class="aritcle_card_info flexColumn"> <a href="/xiazai/skill5806" title="html-deploy">html-deploy</a> <p>使用 htmlcode.fun 将 HTML 内容或文件部署到网页,适用于用户要求“部署到网页”“托管此 HTML”“生成此前端...的实时链接”等场景。</p> </div> <a href="/xiazai/skill5806" title="html-deploy" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a> </div> </div><pre class="brush:php;toolbar:false;">number = soup.select_one('body &gt; table tr:nth-child(5) &gt; td &gt; table tr &gt; td &gt; table tr &gt; td:nth-child(3) &gt; table tr:nth-child(3) &gt; td:nth-child(2)')</pre><p>✅ 关键改动:</p> <p><span>立即学习</span>“<a href="https://pan.quark.cn/s/cb6835dc7db1" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">前端免费学习笔记(深入)</a>”;</p> <ul><li>删除所有 <code>> tbody >,改用空格分隔的后代关系(table tr 匹配 <table> 内任意层级的 <code><tr>);<li>保留 <code>> 直接子元素约束(如 tr:nth-child(5) > td)以维持结构意图;

  • 仍使用 nth-child() 定位具体行列,兼顾准确性与容错性。
  • 此外,还需增强代码健壮性:

    1. 添加请求异常处理与状态检查:

      response = requests.get(url, timeout=10)
      response.raise_for_status()  # 抛出网络/HTTP错误
    2. 安全提取文本内容:
      原代码 str(number) 会输出整个 Tag 对象(如 <td>1.42</td>),而非纯数字。应使用 .get_text(strip=True):

      number_tag = soup.select_one('...')  # 上述修正后选择器
      number = number_tag.get_text(strip=True) if number_tag else None
    3. 增加日志与空值防护:

      if number is None:
          print("⚠️  警告:未找到油价元素,请检查页面结构或选择器")
          return None

    完整优化后的 fetch_number() 函数如下:

    def fetch_number():
        try:
            response = requests.get(url, timeout=10)
            response.raise_for_status()
            soup = BeautifulSoup(response.text, 'html.parser')
    
            # 鲁棒选择器:忽略 tbody,使用后代关系
            target = soup.select_one(
                'body > table tr:nth-child(5) > td > table tr > td > table tr > td:nth-child(3) > table tr:nth-child(3) > td:nth-child(2)'
            )
            return target.get_text(strip=True) if target else None
        except Exception as e:
            print(f"❌ 请求或解析失败:{e}")
            return None

    最后提醒:网页结构可能随时更新。建议定期人工验证选择器有效性,或采用更语义化的方式(如通过 class、id 或邻近文本定位)提升长期稳定性。对于生产环境,还应加入重试机制与监控告警——毕竟燃料价格每变动一分钱,都关乎你的计算器是否真正“智能”。

    相关文章

    HTML速学教程(入门课程)
    HTML速学教程(入门课程)

    HTML怎么学习?HTML怎么入门?HTML在哪学?HTML怎么学才快?不用担心,这里为大家提供了HTML速学教程(入门课程),有需要的小伙伴保存下载就能学习啦!

    下载

    相关标签:

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

    热门AI工具

    更多
    SkildArt
    SkildArt Hot

    SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

    UP简历
    UP简历 Hot

    一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

    WorkBuddy

    一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

    VibeKnow
    VibeKnow Hot

    一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

    Loomy
    Loomy Hot

    一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

    切问学术

    切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

    豆包大模型

    豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

    DeepSeek

    DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

    UpDream
    UpDream Hot

    一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

    相关专题

    更多
    html版权符号
    html版权符号

    html版权符号是“©”,可以在html源文件中直接输入或者从word中复制粘贴过来,php中文网还为大家带来html的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

    5355

    2023.06.14

    html在线编辑器
    html在线编辑器

    html在线编辑器是用于在线编辑的工具,编辑的内容是基于HTML的文档。它经常被应用于留言板留言、论坛发贴、Blog编写日志或等需要用户输入普通HTML的地方,是Web应用的常用模块之一。php中文网为大家带来了html在线编辑器的相关教程、以及相关文章等内容,供大家免费下载使用。

    3092

    2023.06.21

    html网页制作
    html网页制作

    html网页制作是指使用超文本标记语言来设计和创建网页的过程,html是一种标记语言,它使用标记来描述文档结构和语义,并定义了网页中的各种元素和内容的呈现方式。本专题为大家提供html网页制作的相关的文章、下载、课程内容,供大家免费下载体验。

    2750

    2023.07.31

    html空格
    html空格

    html空格是一种用于在网页中添加间隔和对齐文本的特殊字符,被用于在网页中插入额外的空间,以改变元素之间的排列和对齐方式。本专题为大家提供html空格的相关的文章、下载、课程内容,供大家免费下载体验。

    2779

    2023.08.01

    html是什么
    html是什么

    HTML是一种标准标记语言,用于创建和呈现网页的结构和内容,是互联网发展的基石,为网页开发提供了丰富的功能和灵活性。本专题为大家提供html相关的各种文章、以及下载和课程。

    4679

    2023.08.11

    html字体大小怎么设置
    html字体大小怎么设置

    在网页设计中,字体大小的选择是至关重要的。合理的字体大小不仅可以提升网页的可读性,还能够影响用户对网页整体布局的感知。php中文网将介绍一些常用的方法和技巧,帮助您在HTML中设置合适的字体大小。

    2741

    2023.08.11

    html转txt
    html转txt

    html转txt的方法有使用文本编辑器、使用在线转换工具和使用Python编程。本专题为大家提供html转txt相关的文章、下载、课程内容,供大家免费下载体验。

    2529

    2023.08.31

    html文本框代码怎么写
    html文本框代码怎么写

    html文本框代码:1、单行文本框【<input type="text" style="height:..;width:..;" />】;2、多行文本框【textarea style=";height:;"></textare】。

    2288

    2023.09.01

    LLVM自定义Pass怎么写
    LLVM自定义Pass怎么写

    本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

    0

    2026.09.30

    热门下载

    更多
    网站特效
    /
    网站源码
    /
    网站素材
    /
    前端模板

    精品课程

    更多
    相关推荐
    /
    热门推荐
    /
    最新课程
    GDB 17.2 官方文档集合
    GDB 17.2 官方文档集合

    共0课时 | 0人学习

    Bootstrap 入门安装配置
    Bootstrap 入门安装配置

    共0课时 | 0人学习

    38+ PhpStorm 提示和技巧
    38+ PhpStorm 提示和技巧

    共1课时 | 219人学习

    关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
    php中文网:公益在线php培训,帮助PHP学习者快速成长!
    关注服务号
    PHP中文网订阅号
    每天精选资源文章推送

    Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn