Python 爬虫需要解析 Js 代码来获取动态加载的数据。解析方法包括：Webdriver：直接执行 Js 代码。Beautiful Soup：通过 lxml 扩展包解析 Js 代码。Selenium：执行 Js 代码并获取页面信息。

Python 爬虫全套教程：Js 解析

Js 解析概述

Js 是一种脚本语言，用于增强网页的交互性。爬虫需要解析 Js 代码才能获取动态加载的数据。

Js 解析方法

立即学习“Python免费学习笔记（深入）”；

Python 中有多种解析 Js 代码的方法：

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

• Webdriver： WebDriver 提供了内置的 Js 执行功能，可以直接在 Python 中执行 Js 代码。
• Beautiful Soup： Beautiful Soup 是一个 HTML/XML 解析库，可以通过 lxml 扩展包解析 Js 代码。
• Selenium： Selenium 是一个 Web 自动化框架，提供了 Python 绑定，可以用来执行 Js 代码和获取页面信息。

使用方法

Webdriver

from selenium import webdriver

driver = webdriver.Chrome()
driver.get("https://example.com")
result = driver.execute_script("return document.title")

Beautiful Soup

from bs4 import BeautifulSoup

soup = BeautifulSoup(driver.page_source, "lxml")
title = soup.select_one("script[type='text/javascript']").text

Selenium

from selenium.webdriver import Chrome

options = ChromeOptions()
options.add_argument("--headless")
driver = Chrome(options=options)
driver.get("https://example.com")
result = driver.execute_script("return document.title")

注意

• Webdriver 需要下载相应的浏览器驱动程序。
• Beautiful Soup 需要 lxml 扩展包支持。
• Selenium 可以无头运行，提高爬虫效率。

高级用法

• Js 注入： 将 Python 代码注入到页面中，可以在页面执行自定义脚本。
• 重写 Js 函数： 修改或替换页面上的 Js 函数，以改变页面行为。
• Js 调试： 使用浏览器开发工具或 PyCharm 调试器调试 Js 代码。