讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

updream

一键生成高质量推广成片

AniShort
AniShort

AI短剧协同制作平台

剧云
剧云

中文短剧剧本制作平台

如何显著优化 HTML 解析中嵌套循环与 DataFrame 创建的性能?

雨杰小哥_2045

雨杰小哥_2045

发布时间:2026-11-16 20:57:09

|

981人浏览过

|

来源于php中文网

原创

如何显著优化 HTML 解析中嵌套循环与 DataFrame 创建的性能?

本文介绍针对大型 html 文件(1万–7万行)解析场景下,通过改进 beautifulsoup 查找策略、切换解析器、重构数据提取逻辑等关键手段,将嵌套循环+重复 dataframe 构建的耗时从 60+ 秒降至约 10 秒的实战优化方案。

本文介绍针对大型 html 文件(1万–7万行)解析场景下,通过改进 beautifulsoup 查找策略、切换解析器、重构数据提取逻辑等关键手段,将嵌套循环+重复 dataframe 构建的耗时从 60+ 秒降至约 10 秒的实战优化方案。

在处理诊断类 HTML 协议文件(如汽车 ECU 报告)时,常见模式是:按地址定位 <p></p><div class="aritcle_card flexRow"> <div class="artcardd flexRow"> <a class="aritcle_card_img" href="/xiazai/skill12116" title="DeepBI DHTML 页面生成器"><img src="https://img.php.cn/upload/skill/001/246/273/6adaf20d3191a227.jpg" alt="DeepBI DHTML 页面生成器" ></a> <div class="aritcle_card_info flexColumn"> <a href="/xiazai/skill12116" title="DeepBI DHTML 页面生成器">DeepBI DHTML 页面生成器</a> <p>生成可在 deepbi 沙箱 iframe 内运行或作为独立文件运行的交互式 HTML 页面,使用 `window.deepbi` JS SDK 实现数据查询、空间管理、文件浏览及用户操作。当用户提出以下需求时启用该能力: - 创建 KPI 仪表盘、数据表格、文件浏览器、成员列表、管理页面; - 明确要求“转成 dhtml”、“转译成 HTML”、“把 XX 页面转成……”、“控制台页面”、“管理后台”、“DeepBI 页面迁移”; - 提及位于 `apps/console/src/featur</p> </div> <a href="/xiazai/skill12116" title="DeepBI DHTML 页面生成器" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a> </div> </div> 标题 → 向后查找关联 <table> → 解析表格 → 提取固定行列值。原始实现中,<code>find_all_next('table') + pd.read_html() 在每次循环中重复执行,成为严重性能瓶颈——尤其当 fv.protocol_values_1 包含数十个地址时,不仅触发多次 DOM 全局遍历,还引发冗余 HTML 字符串序列化与 DataFrame 初始化开销。

? 核心瓶颈定位与验证

首先,使用 line_profiler 对函数逐行计时(推荐装饰器 @profile + kernprof -l -v script.py),可明确识别:

  • table.find_all_next('table') 占用超 65% 总耗时(因需从当前节点向后扫描全部兄弟/后代 <table>);<li> <code>BeautifulSoup(..., "html.parser") 解析大型 HTML 效率偏低;
  • pd.read_html(io.StringIO(str(data_table)))[1] 每次都重新序列化 DOM 树并触发完整 HTML 表格解析流程;
  • 多层 if/elif 条件判断在循环内低效,且未校验索引越界风险。
  • ⚙️ 关键优化策略与代码重构

    1. 替换查找方式:find_next() 替代 find_all_next()

    find_all_next() 返回所有后续匹配元素列表,而实际只需紧邻下一个 <table>(协议结构通常为 <code>p → table → p → table...)。改用 find_next('table') 可将查找复杂度从 O(N) 降至 O(1) 平均情况:

    # ❌ 原始低效写法(全量扫描)
    data_table = table.find_all_next('table')
    
    # ✅ 优化后(精准定位第一个后续 table)
    data_table = table.find_next('table')
    if data_table is None:
        raise ValueError(f"No table found after address '{address}'")

    2. 升级解析器:lxml 替代 html.parser

    lxml 是 C 实现的高速解析器,对大型 HTML 的构建与查询速度通常比内置 html.parser 快 3–5 倍。需先安装:pip install lxml,然后修改初始化:

    立即学习“前端免费学习笔记(深入)”;

    parsed_protocol = BeautifulSoup(contents, "lxml")  # ✅ 替换为 lxml

    ⚠️ 注意:确保 HTML 结构良好,lxml 对 malformed HTML 容错性略低于 html.parser,但诊断报告通常格式规范。

    3. 避免重复 DataFrame 构建:一次性提取 + 字典映射

    不再依赖 pd.read_html() 创建中间 DataFrame,而是直接定位 <table> 中的目标 <code><tr> 和 <code><td> 节点,用 <code>.get_text(strip=True) 提取文本。若仍需 DataFrame 语义,可构造轻量 pd.DataFrame 或直接用字典:

    # ✅ 直接从 table DOM 提取(零 DataFrame 开销)
    rows = data_table.find_all('tr')
    if len(rows) < 22:  # 提前校验行数,避免 IndexError
        raise ValueError(f"Table for {address} has insufficient rows")
    
    def safe_cell(row_idx, col_idx):
        try:
            return rows[row_idx].find_all('td')[col_idx].get_text(strip=True)
        except (IndexError, AttributeError):
            return ""
    
    # 构建值映射字典(清晰、可维护、无 if/else 分支)
    value_map = {
        "Software Version":      safe_cell(1, 1),
        "Hardware part number": safe_cell(2, 1),
        "Hardware Version":     safe_cell(3, 1),
        "VIN Number":           safe_cell(20, 1),
        "Fazit ID":             safe_cell(21, 1),
        "Coding":               safe_cell(7, 1),
        "VW part number":       safe_cell(0, 1),
    }
    
    # 列表推导式高效组装结果(自动跳过无效 key)
    temp_list = [value_map[key] for key in fv.info_values_to_add if key in value_map]

    4. 其他关键改进

    • 预编译正则表达式:将 re.compile(string_address) 提升至循环外,避免重复编译;
    • 提前退出机制:对 fv.info_values_to_add 为空时直接跳过处理;
    • 全局 Soup 复用:确保 parsed_protocol 在整个解析过程只构建一次(当前代码已满足);
    • 禁用 BeautifulSoup 解析选项:如 features="lxml" 已隐含最优配置,无需额外参数。

    ✅ 优化效果对比

    优化项 原始耗时(70k 行 HTML) 优化后耗时 加速比
    find_all_next → find_next ~42s ↓ ~28s 1.5×
    html.parser → lxml ~15s ↓ ~5s 3×
    pd.read_html → DOM 提取 ~25s ↓ ~22s >10×
    if/elif → 字典映射 + 列表推导 ~3s ↓ ~1.5s 2×
    合计 >60s ~10s 6×

    ? 提示:若后续需扩展支持更多字段,只需在 value_map 中添加新键值对,无需修改主逻辑,大幅提升可维护性。

    通过以上四步重构,您不仅获得了数量级的性能提升,更使代码逻辑更健壮(显式错误检查)、更易读(声明式映射)、更易扩展(配置驱动)。对于 CustomTkinter 这类注重响应体验的桌面应用,10 秒级处理已能满足用户预期——而这一切,始于一次精准的性能剖析与对底层机制的合理取舍。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

相关专题

更多
html版权符号
html版权符号

html版权符号是“©”,可以在html源文件中直接输入或者从word中复制粘贴过来,php中文网还为大家带来html的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

7675

2023.06.14

html在线编辑器
html在线编辑器

html在线编辑器是用于在线编辑的工具,编辑的内容是基于HTML的文档。它经常被应用于留言板留言、论坛发贴、Blog编写日志或等需要用户输入普通HTML的地方,是Web应用的常用模块之一。php中文网为大家带来了html在线编辑器的相关教程、以及相关文章等内容,供大家免费下载使用。

4212

2023.06.21

html网页制作
html网页制作

html网页制作是指使用超文本标记语言来设计和创建网页的过程,html是一种标记语言,它使用标记来描述文档结构和语义,并定义了网页中的各种元素和内容的呈现方式。本专题为大家提供html网页制作的相关的文章、下载、课程内容,供大家免费下载体验。

3870

2023.07.31

html空格
html空格

html空格是一种用于在网页中添加间隔和对齐文本的特殊字符,被用于在网页中插入额外的空间,以改变元素之间的排列和对齐方式。本专题为大家提供html空格的相关的文章、下载、课程内容,供大家免费下载体验。

3899

2023.08.01

html是什么
html是什么

HTML是一种标准标记语言,用于创建和呈现网页的结构和内容,是互联网发展的基石,为网页开发提供了丰富的功能和灵活性。本专题为大家提供html相关的各种文章、以及下载和课程。

5319

2023.08.11

html字体大小怎么设置
html字体大小怎么设置

在网页设计中,字体大小的选择是至关重要的。合理的字体大小不仅可以提升网页的可读性,还能够影响用户对网页整体布局的感知。php中文网将介绍一些常用的方法和技巧,帮助您在HTML中设置合适的字体大小。

3821

2023.08.11

html转txt
html转txt

html转txt的方法有使用文本编辑器、使用在线转换工具和使用Python编程。本专题为大家提供html转txt相关的文章、下载、课程内容,供大家免费下载体验。

3649

2023.08.31

html文本框代码怎么写
html文本框代码怎么写

html文本框代码:1、单行文本框【<input type="text" style="height:..;width:..;" />】;2、多行文本框【textarea style=";height:;"></textare】。

3128

2023.09.01

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

140

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
GDB 17.2 官方文档集合
GDB 17.2 官方文档集合

共0课时 | 0人学习

Bootstrap 入门安装配置
Bootstrap 入门安装配置

共0课时 | 0人学习

38+ PhpStorm 提示和技巧
38+ PhpStorm 提示和技巧

共1课时 | 244人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn