使用Python进行Web Scraping：动态网页内容抓取及解决方案-Python教程-PHP中文网

使用Python进行Web Scraping：动态网页内容抓取及解决方案

花韻仙語

发布： 2025-08-17 16:32:00

原创

956人浏览过

使用python进行web scraping：动态网页内容抓取及解决方案

本文旨在解决使用Python进行Web Scraping时，由于网页内容由JavaScript动态生成而导致无法抓取的问题。文章将介绍如何通过分析XHR/API请求获取JSON数据，以及使用Selenium等工具模拟浏览器行为来渲染动态内容，从而成功抓取目标信息。通过本文，读者将掌握应对动态网页抓取的有效方法，并能灵活应用于实际项目中。

动态网页抓取概述

传统的requests和BeautifulSoup组合在抓取静态网页时非常有效。然而，现代Web应用通常使用JavaScript动态生成内容，这意味着页面的HTML结构在加载后会发生改变。直接使用requests获取的HTML源码可能不包含目标数据，导致抓取失败。

解决方案一：分析XHR/API请求

许多动态网页通过异步JavaScript和XML（XHR）请求从服务器获取数据，这些数据通常以JSON格式返回。我们可以通过浏览器的开发者工具（通常按F12打开）的网络选项卡来分析这些请求。

打开开发者工具： 打开目标网页，按下F12键，进入开发者工具。
切换到网络选项卡： 在开发者工具中，选择“Network”（网络）选项卡。
刷新页面： 刷新页面，观察网络请求。
筛选XHR请求： 过滤请求类型，只显示XHR（或Fetch/XHR）请求。
查找API端点： 找到包含目标数据的API请求。通常，这些请求的响应类型为JSON。
分析请求URL和参数： 记录API的URL和请求参数，这些信息将用于Python代码中。

示例代码：

立即学习“Python免费学习笔记（深入）”；

以下代码演示了如何使用requests库获取JSON数据并提取所需信息。

import requests

url = 'https://comic.naver.com/api/article/list?titleId=811721&page=1'  # 替换为实际的API端点

try:
    response = requests.get(url)
    response.raise_for_status()  # 检查请求是否成功

    data = response.json()

    for article in data['articleList']:
        print(article.get('subtitle'))  # 提取并打印漫画标题
except requests.exceptions.RequestException as e:
    print(f"请求错误: {e}")
except ValueError as e:
    print(f"JSON解码错误: {e}")
except KeyError as e:
    print(f"KeyError: {e}, JSON结构可能已更改")

登录后复制

代码解释：

requests.get(url): 发送GET请求到指定的API端点。
response.raise_for_status(): 检查HTTP响应状态码，如果不是200 OK，则抛出异常。
response.json(): 将响应内容解析为JSON格式。
data['articleList']: 访问JSON数据中的articleList键，通常包含一个列表，其中每个元素代表一个漫画章节。
article.get('subtitle'): 从每个章节的字典中获取subtitle键的值，即漫画标题。
异常处理: 包含requests.exceptions.RequestException处理请求错误，ValueError处理JSON解码错误，KeyError处理JSON结构变更。

注意事项：

API端点可能会改变，需要定期检查和更新代码。
某些API可能需要身份验证（例如，需要提供API密钥或登录凭据）。
应遵守网站的robots.txt协议，避免过度请求导致服务器过载。

解决方案二：使用Selenium模拟浏览器行为

如果无法直接找到API端点，或者API的使用受到限制，可以使用Selenium等工具模拟浏览器行为，渲染动态内容。

安装Selenium和WebDriver：
```
pip install selenium
```
登录后复制
还需要下载与你的浏览器版本匹配的WebDriver（例如，ChromeDriver for Chrome）。将WebDriver的可执行文件放在系统PATH中，或者在Selenium代码中指定其路径。

编写Selenium代码：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 配置Chrome选项（可选）
chrome_options = Options()
chrome_options.add_argument("--headless")  # 无头模式，不显示浏览器窗口

# 创建WebDriver实例
driver = webdriver.Chrome(options=chrome_options)  # 确保ChromeDriver在PATH中，或者指定路径

try:
    # 加载网页
    driver.get("https://comic.naver.com/webtoon/list?titleId=811721&tab=wed")

    # 等待目标元素加载（使用显式等待）
    wait = WebDriverWait(driver, 10)
    element = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "span.EpisodeListList__title--lfIzU")))

    # 提取数据
    cartoons = driver.find_elements(By.CSS_SELECTOR, "span.EpisodeListList__title--lfIzU")
    for cartoon in cartoons:
        print(cartoon.text)

except Exception as e:
    print(f"发生错误: {e}")

finally:
    # 关闭浏览器
    driver.quit()

登录后复制

代码解释：

webdriver.Chrome(): 创建Chrome浏览器的WebDriver实例。
driver.get(url): 加载指定的网页。
WebDriverWait和EC.presence_of_element_located: 使用显式等待，确保目标元素加载完成后再进行操作。这可以避免因元素未加载完成而导致的错误。
driver.find_elements(By.CSS_SELECTOR, "span.EpisodeListList__title--lfIzU"): 使用CSS选择器查找所有匹配的元素。
cartoon.text: 获取元素的文本内容。
driver.quit(): 关闭浏览器。

注意事项：