pd.read_html() 是解析网页表格的最简路径，但对嵌套table、JS渲染、colspan/rowspan过多等结构敏感；遇JS渲染需用Playwright等待DOM加载后再解析；应显式指定header、skiprows并清理列名，同时设置超时、缓存HTML、捕获具体异常以保障稳定性。
用 pd.read_html() 直接解析网页表格，但不是所有 HTML 都能成功
pd.read_html() 是最简路径，它底层调用 lxml 或 html5lib 解析 HTML，自动识别 <table> 标签并转为 DataFrame 列表。但它对 HTML 结构敏感：嵌套 <table>、JS 动态渲染、<colspan>/<rowspan> 过多、缺失 <thead> 或表头在 <tbody> 里，都可能导致解析失败或列错位。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 先用
requests.get(url).text拿到原始 HTML，本地保存后用浏览器检查是否真有静态<table>—— 如果右键“查看网页源代码”里搜不到<table>，说明是 JS 渲染，pd.read_html()无效 - 加参数
flavor='lxml'（推荐）或flavor='html5lib'，避免默认的 BeautifulSoup 解析器在某些编码下报错 - 用
match=参数缩小匹配范围，比如match='近一年股价'，比盲目取[0]更稳 - 如果返回空列表，别急着换库，先
print(len(soup.find_all('table')))（用 BeautifulSoup 加载同一份 HTML）确认 table 确实存在
遇到 JS 渲染表格时，必须换 requests + selenium 或 playwright
典型现象：pd.read_html() 返回空列表，但浏览器 F12 的 Elements 面板能看到 <table> —— 这说明内容由 JS 注入，requests 拿不到。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 优先用
playwright（比 Selenium 轻、启动快、默认无头）：from playwright.sync_api import sync_playwright，page.goto(url)后等page.wait_for_selector('table')，再用page.content()传给pd.read_html() - 避免直接
page.screenshot()或 OCR，那是兜底方案；99% 的情况，等 DOM 渲染完再取 HTML 就够了 - 如果页面反爬严格（如检测
navigator.webdriver），需加context = browser.new_context(user_agent=...)并禁用自动化特征 - 不要在循环里反复启停浏览器，复用
browser实例，否则 I/O 开销远超解析本身
解析后 DataFrame 列名混乱？重点检查 header 和 skiprows
常见错误现象：第一行变成数据、表头被拆成多行、空列、列名带 \n 或多余空格 —— 这通常不是 HTML 问题，而是 pd.read_html() 自动推断 header 失败。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 显式指定
header=0（强制第 0 行为列名），或header=[0,1]处理双层表头；若表头在第 2 行，用skiprows=2再设header=0 - 用
keep_default_na=False防止把 “-” 或 “N/A” 当成 NaN 而删掉整行 - 解析后立刻做
df.columns = df.columns.str.strip().str.replace(r'\s+', ' ', regex=True)清理列名空白 - 如果某列全是
None，大概率是原 HTML 中该列<td>为空且没设<th>，需要后续用df.dropna(how='all', axis=1)剔除
性能与稳定性关键：缓存 HTML、设置超时、捕获具体异常
线上抓取最常崩在 IO 或网络，而不是解析逻辑。一个没设超时的 requests.get() 可能卡死整个脚本；反复请求同一页面还可能触发风控。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 本地开发时，先
with open('page.html', 'w', encoding='utf-8') as f: f.write(html)缓存响应，后续调试全用本地文件，不碰网络 -
requests.get(url, timeout=(3, 7))设定连接+读取超时，捕获requests.exceptions.Timeout和requests.exceptions.ConnectionError -
pd.read_html()报ValueError: No tables found时，不要 except Exception: pass，而要记录原始 HTML 片段和 URL，方便回溯 - 并发请求时，别用
threading+ requests（GIL 限制），改用concurrent.futures.ThreadPoolExecutor，线程数控制在 3–5，避免被封 IP
真正麻烦的从来不是“怎么解析”，而是“怎么让解析稳定跑满一周不出错”——HTML 结构微调、服务端返回格式变更、临时网络抖动，都会让看似健壮的代码突然失效。留好日志、缓存中间结果、对每一步做存在性断言，比写更 fancy 的解析逻辑重要得多。
