动态内容需先执行JS渲染再解析:pd.read_html()和Excel导入仅读原始HTML,无法获取JS生成的表格;应使用Playwright等工具获取渲染后HTML,再用pandas解析,注意分页处理、类型声明和列名规范。

HTML 动态内容无法直接用 pd.read_html() 或 Excel “导入网页” 转成表格 —— 因为这些工具只读原始 HTML 源码,而动态内容(如 JS 渲染的表格)在源码里根本不存在。
为什么浏览器能看见表格,但 pd.read_html() 找不到?
常见错误现象:用 pd.read_html("page.htm") 返回空列表,或只拿到占位文字;用 Excel “从网页导入” 也显示空白或只有标题。这是因为页面加载后,JavaScript 才往 <div id="table-container"> 里 <code>appendChild() 表格节点,原始 HTML 文件里连 <table> 标签都没有。
<ul><li>右键“查看网页源代码”,搜索 <code><table> —— 如果没找到,就确认是动态渲染
<li>按 F12 打开开发者工具,切到 Elements 面板,刷新页面后手动展开 DOM,才能看到真实 <code><table> 结构
<li>
<code>requests.get(url).text 和本地 open("file.htm").read() 都拿不到渲染后的内容
必须先获取渲染后 HTML,再解析
核心步骤是两阶段:① 执行 JS 得到最终 DOM;② 在这个 DOM 上运行表格提取逻辑。不能跳过第一阶段。
- 推荐用
playwright:启动快、内存低、API 简洁,page.content()直接返回完整渲染后 HTML 字符串 - 备选
selenium:更重但兼容老系统;注意要显式等待表格出现,比如wait.until(EC.presence_of_element_located((By.TAG_NAME, "table"))) - 别用
pyppeteer(已停更)或dryscrape(不维护),容易卡死或解析失败 - 拿到渲染后 HTML 后,再交给
pd.read_html()或BeautifulSoup.find("table")—— 这时才能真正识别到数据
遇到多页/分页表格怎么处理?
很多后台报表用“下一页”按钮加载新数据,而不是整页重载。这时候单纯抓单页 HTML 不够。
立即学习“前端免费学习笔记(深入)”;
- 用 Playwright 模拟点击“下一页”,每次点完等表格更新,再调用
page.content()提取当前页表格 - 如果分页是 URL 参数变化(如
?page=2),可循环构造 URL +page.goto(),避免手动点击 - 所有页的
DataFrame用pd.concat(dfs, ignore_index=True)合并,注意检查列名是否一致 - 别依赖
window.scrollTo()或滚动触底自动加载 —— 容易漏数据,且难判断加载完成
导出时字段错位、数字变科学计数怎么办?
这是 Excel 自动格式化惹的祸,不是转换逻辑问题。
- 导出前对 DataFrame 做类型声明:
df["金额"] = df["金额"].astype(str)防止长数字(如订单号)被转成1.23E+17 - 用
to_excel(..., engine="openpyxl"),配合workbook.formats设置单元格格式(如number_format='@'强制文本) - 如果表头含斜杠、括号、空格,Excel 可能误判为公式(如
=SUM(A1:A10)),导出前用df.columns = df.columns.str.replace(r'[/()\s]+', '_', regex=True)规范列名 - 合并单元格(
colspan/rowspan)会被pd.read_html()展平成重复值,不是 bug —— HTML 表格语义本身就不支持“一个单元格跨多行还带独立值”,需业务侧自行后处理
真正麻烦的从来不是“怎么转”,而是确认数据是否完整、字段是否对齐、时间/数字/编码是否失真。动态内容意味着你得和前端渲染节奏同步,稍有延迟或竞态,就可能截到半张表。别省那几秒等待时间,加个 page.wait_for_timeout(500) 或明确的 wait_for_selector 更稳妥。



















