BeautifulSoup 无法抓取动态网页数据，因为它只解析静态HTML而不执行JavaScript；动态内容需通过直接调用API或使用Selenium/Playwright渲染后配合BeautifulSoup解析。
BeautifulSoup 本身不能抓取动态网页数据——它只解析已获取的 HTML 字符串，而动态内容（如由 JavaScript 渲染的数据）在初始 HTML 中通常不存在。
为什么 requests + BeautifulSoup 抓不到动态加载的内容
多数现代网站用 fetch 或 Axios 在页面加载后请求 JSON 数据，或用 React/Vue 渲染 DOM。此时 requests.get(url).text 拿到的只是“空壳 HTML”，BeautifulSoup 解析后找不到目标元素。
- 典型表现：
bs.find_all("div", class_="item")返回空列表，但浏览器开发者工具里能看到这些元素 - 检查方法：对比
curl -s URL | grep "目标文本"和浏览器页面源码，若命令无结果，说明内容是 JS 渲染的 - 根本原因：
BeautifulSoup不执行 JS，也不维护 DOM 状态
该用什么替代 requests + BeautifulSoup
分两种情况处理：
- 如果目标数据来自独立 API 接口（比如
/api/v1/products），直接用requests调用该接口，再用json.loads()解析——这是最轻量、最稳定的方式 - 如果必须走真实浏览器渲染（如反爬强、参数加密、登录态复杂），用
selenium或playwright启动浏览器实例，等 JS 执行完再传给BeautifulSoup解析
示例（Playwright + BeautifulSoup）：
立即学习“Python免费学习笔记（深入）”；
from playwright.sync_api import sync_playwright
from bs4 import BeautifulSoup
<p>with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto("<a href="https://www.php.cn/link/67ca3192a9793d768d6706d0541842f4">https://www.php.cn/link/67ca3192a9793d768d6706d0541842f4</a>")
page.wait_for_selector(".item", timeout=10000) # 等待目标元素出现
html = page.content()
soup = BeautifulSoup(html, "html.parser")
for item in soup.select(".item"):
print(item.get_text())
browser.close()
BeautifulSoup 在动态场景中还能起什么作用
它只负责“结构化解析”，不是“获取”环节。只要拿到完整 HTML（无论怎么来的），它依然高效可靠：
- 配合
selenium获取渲染后 HTML，再用BeautifulSoup替代page.inner_html()做更灵活的选择器操作（比如soup.select_one("td:nth-of-type(3) > a")） - 对 API 返回的 HTML 片段（如 AJAX 插入的局部 DOM）做快速提取，比正则更安全
- 注意：不要用
lxml解析器去处理未闭合的 JS 模板（如<div v-if="loading">），改用html.parser更容错
真正卡住人的从来不是 BeautifulSoup 怎么写，而是没搞清数据在哪一层——先抓网络请求，再决定要不要启动浏览器。很多所谓“动态网页”，其实翻几页 Network 就能找到干净的 JSON 接口。
