当 `pandas.read_html` 无法从网页中提取表格时，通常是由于表格内容通过 javascript 动态加载。本教程将指导您如何利用浏览器开发者工具识别后台数据请求，并使用 `requests` 库模拟这些 xhr 请求，直接获取原始 json 数据。随后，我们将这些数据转换为 `pandas.dataframe`，从而有效解决动态网页数据抓取难题，实现高效、稳定的数据提取。
深入理解 pandas.read_html 的局限性
pandas.read_html 是一个极其便捷的工具，能够从静态 HTML 页面中快速识别并提取表格数据。它通过解析 HTML 结构中的 <table> 标签来工作。然而，在现代 Web 开发中，许多网页的内容，特别是表格数据，并非直接嵌入在初始加载的 HTML 中。相反，它们通常通过 JavaScript 在页面加载完成后异步地从服务器请求（例如，使用 AJAX 或 XHR 请求）并动态渲染到 DOM 中。
在这种情况下，当您尝试使用 pd.read_html 访问一个包含动态加载表格的 URL 时，它只会看到初始的静态 HTML 骨架，而不会等待 JavaScript 执行并填充表格内容。因此，read_html 返回一个空列表是预期的行为，因为它在初始 HTML 中找不到任何 <table> 标签。
例如，对于以下代码，如果目标网页的表格是动态加载的，dfs 将会是一个空列表：
import pandas as pd
# 尝试使用 read_html 提取数据
dfs = pd.read_html("https://anex.us/grades/?dept=ENGR&number=102")
print(dfs) # 预期输出：[]即使尝试使用 Selenium 等工具获取渲染后的 HTML，如果表格内容是通过独立的 API 请求获取并填充的，直接获取 outerHTML 也可能只得到一个空表格结构，因为数据本身并未被捕获。
立即学习“前端免费学习笔记（深入）”；
解决方案：模拟 XHR 请求直接获取数据
解决动态加载表格问题的关键在于绕过浏览器渲染过程，直接模拟页面在后台发出的数据请求。这通常涉及以下步骤：
1. 使用浏览器开发者工具识别数据源
这是最关键的一步。大多数现代浏览器都提供了强大的开发者工具，可以帮助我们监控网络活动。
- 打开目标网页： 在浏览器中打开包含目标表格的网页（例如：https://anex.us/grades/?dept=ENGR&number=102）。
- 打开开发者工具： 通常通过按 F12 键或右键点击页面并选择“检查”/“检查元素”来打开。
- 切换到“网络”（Network）选项卡： 此选项卡会显示页面加载过程中所有的网络请求。
- 筛选 XHR/Fetch 请求： 为了更容易找到数据请求，可以筛选只显示 XHR 或 Fetch 类型的请求。这些通常是页面通过 JavaScript 异步获取数据的请求。
- 刷新页面或触发数据加载： 如果表格数据在页面加载时就出现，刷新页面会显示相关的请求。如果表格数据是用户交互（如点击按钮、选择下拉菜单）后才加载的，则需要执行相应操作。
-
分析请求： 仔细查看这些 XHR 请求。寻找那些返回 JSON 或其他结构化数据（如 CSV）的请求。
- 请求 URL： 记录下实际发送数据请求的 URL。这通常与浏览器地址栏的 URL 不同。
- 请求方法： 确定是 GET 还是 POST 请求。
- 请求载荷（Payload/Form Data）： 如果是 POST 请求，查看其发送了哪些数据（例如，查询参数、表单数据）。这些数据通常是筛选条件，如示例中的 dept 和 number。
- 响应预览（Response/Preview）： 检查服务器返回的数据格式，通常是 JSON。
通过分析示例网页，我们可以发现，当页面加载时，它向 https://anex.us/grades/getData/ 发送了一个 POST 请求，并带有 dept 和 number 参数。
2. 使用 requests 库模拟请求
一旦识别出数据源及其请求参数，我们就可以使用 Python 的 requests 库来模拟这个请求。
import requests
import pandas as pd
# 1. 确定数据接口 URL
url = 'https://anex.us/grades/getData/'
# 2. 构建请求载荷 (Payload)
# 这些参数是从浏览器开发者工具的 "Payload" 或 "Form Data" 中获取的
payload = {'dept': 'ENGR', 'number': '102'}
# 3. 设置请求头 (Headers)
# 模仿浏览器请求，特别是 User-Agent，可以避免某些网站的反爬虫机制
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:120.0) Gecko/20100101 Firefox/120.0'
}
# 4. 发送 POST 请求
# 使用 data 参数传递表单数据
response = requests.post(url, data=payload, headers=headers)
# 5. 检查响应状态码
if response.status_code == 200:
# 6. 解析 JSON 响应
# 大多数动态数据接口会返回 JSON 格式的数据
data = response.json()
# 7. 将 JSON 数据转换为 pandas DataFrame
# 根据 JSON 结构，找到包含实际数据列表的键
if 'classes' in data:
df = pd.DataFrame(data['classes'])
print(df)
else:
print("JSON 响应中未找到 'classes' 键。")
else:
print(f"请求失败，状态码: {response.status_code}")
print(response.text) # 打印响应内容以帮助调试示例输出
运行上述代码，您将获得一个包含所需表格数据的 pandas.DataFrame：
dept number section A B C D F I S U Q X prof year semester gpa 0 ENGR 102 20 18 17 8 2 3 0 0 0 1 0 AMINI N 2018 FALL 2.9375 1 ENGR 102 21 18 31 15 4 1 0 0 0 0 0 KOOLA P 2018 FALL 2.88405797101449 2 ENGR 102 22 10 28 16 2 3 0 0 0 0 0 SHAW S 2018 FALL 2.67796610169492 3 ENGR 102 26 9 24 10 4 6 0 0 0 0 0 SUBRAMANIAN R 2018 FALL 2.49056603773585 4 ENGR 102 201 21 12 1 1 0 0 0 0 0 0 IJAZ M 2018 FALL 3.51428571428571 .. ... ... ... .. .. .. .. .. .. .. .. .. .. ... ... ... ... 486 ENGR 102 507 27 14 7 2 5 0 0 0 13 0 IJAZ M 2023 SPRING 3.01818181818182 487 ENGR 102 508 24 7 10 1 4 0 0 0 4 0 IJAZ M 2023 SPRING 3 488 ENGR 102 540 12 3 2 1 0 0 0 0 0 0 ALVARADO L 2023 SPRING 3.44444444444444 489 ENGR 102 550 1 1 6 1 2 0 0 0 0 0 KOOLA P 2023 SPRING 1.81818181818182 490 ENGR 102 551 1 1 7 2 3 0 0 0 3 0 VILLAREAL S 2023 SPRING 1.64285714285714 [491 rows x 17 columns]
注意事项与最佳实践
- User-Agent： 在 headers 中设置 User-Agent 是一个好习惯，可以模拟浏览器请求，减少被网站识别为爬虫的风险。有些网站会检查 User-Agent。
- 请求方法： 确保使用正确的 HTTP 请求方法（GET 或 POST）。requests.get() 用于 GET 请求，requests.post() 用于 POST 请求。
- 数据格式： GET 请求的参数通常放在 URL 中或通过 params 参数传递；POST 请求的表单数据通过 data 参数传递，JSON 数据通过 json 参数传递。
- Cookies 和会话： 对于需要登录或维护会话状态的网站，可能需要使用 requests.Session() 对象来管理 Cookies。
- 错误处理： 始终检查 response.status_code 以确保请求成功，并处理可能的异常（如网络错误、JSON 解析失败）。
- 反爬虫机制： 某些网站有更复杂的反爬虫机制，例如验证码、IP 限制、JavaScript 混淆等。在这种情况下，可能需要结合使用 selenium 或更高级的代理池、打码平台等。
- 法律与道德： 在抓取任何网站数据之前，请务必查阅网站的 robots.txt 文件和使用条款。遵守网站规定，不要对服务器造成过大负担。
总结
当 pandas.read_html 无法满足动态网页的数据提取需求时，通过浏览器开发者工具定位并模拟底层的 XHR 数据请求，是获取结构化数据的有效且高效的方法。requests 库提供了强大的功能来构建和发送这些请求，配合 pandas 库，可以轻松地将获取到的 JSON 数据转换为可分析的 DataFrame。掌握这一技能，将大大扩展您从复杂网页中提取数据的能力。
