本文介绍如何绕过前端 javascript 渲染限制，直接抓取 mathworks radar toolbox 模块文档的原始 xml 数据源，准确提取“radar toolbox — blocks”下的全部功能模块名称与对应 html 链接。
本文介绍如何绕过前端 javascript 渲染限制，直接抓取 mathworks radar toolbox 模块文档的原始 xml 数据源，准确提取“radar toolbox — blocks”下的全部功能模块名称与对应 html 链接。
MathWorks 官方文档（如 <https://www.mathworks.com/help/radar/referencelist.html?type=block>）表面上呈现为静态 HTML 页面，但实际内容（尤其是模块列表）并非内嵌于主 HTML 中，而是通过 AJAX 异步加载外部 XML 文件（referencelist_block_cat.xml）后由前端 JavaScript 动态注入 DOM。因此，使用 requests_html 的 arender() 方法仍无法获取该内容——因为渲染依赖完整浏览器环境（如真实 DOM 事件、XMLHTTP 请求权限等），而 requests_html 的底层 Pyppeteer/Playwright 支持有限，且未自动执行跨域 XML 请求逻辑。
根本解决方案：跳过渲染，直连数据源
MathWorks 将模块分类与链接结构以 XML 格式托管在可公开访问的地址：
https://www.mathworks.com/help/radar/referencelist_block_cat.xml
该 XML 使用自定义命名空间 cat:（代表 category），结构清晰，包含 <cat> 元素及其子 <ref> 节点，每个 <ref> 的 target 属性即为相对路径，拼接基础域名即可生成完整文档链接。
以下为推荐的稳定、高效实现方式（基于 requests + BeautifulSoup）：
import requests
from bs4 import BeautifulSoup
# 直接请求原始 XML 数据源
xml_url = "https://www.mathworks.com/help/radar/referencelist_block_cat.xml"
response = requests.get(xml_url)
response.raise_for_status() # 确保请求成功
soup = BeautifulSoup(response.content, "xml")
# 查找所有包含 <ref> 子节点的 <cat> 元素（即有模块的分类）
for category in soup.select("cat:has(ref)"):
# 提取分类标题
title_elem = category.find("title")
if title_elem and title_elem.text.strip():
print(f"? {title_elem.text.strip()}")
print("-" * 50)
# 遍历该分类下所有模块引用
for ref in category.select("ref"):
name = ref.text.strip()[:40] + "..." if len(ref.text.strip()) > 40 else ref.text.strip()
target = ref.get("target", "").strip()
if target:
full_url = f"https://www.mathworks.com/help/radar/{target}"
print(f"{name:<42} {full_url}")
print()✅ 优势说明：
- 零渲染开销：避免启动浏览器、等待 JS 执行、处理超时等问题；
- 高稳定性：XML 接口是 MathWorks 内部维护的结构化数据源，比 HTML 页面更可靠；
- 精准定位：无需猜测 DOM 结构或等待特定 ID（如 #reflist_content），直接按语义解析；
- 易扩展：可轻松添加过滤（如按 target 后缀 .html 筛选）、去重、导出 CSV/JSON 等。
⚠️ 注意事项：
- 请遵守 robots.txt 及 MathWorks 的 Terms of Use，建议添加合理请求间隔（如 time.sleep(1)）；
- 若需批量抓取大量文档页，建议先缓存 XML 响应，避免重复请求；
- BeautifulSoup 解析 XML 需指定解析器为 "xml"（依赖 lxml 或 xml.etree.ElementTree），安装命令：pip install lxml；
- 若遇到 403 Forbidden，可尝试添加 headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"} 模拟常规浏览器请求。
通过此方法，你将获得完整、结构化的 Radar Toolbox 模块清单，适用于自动化文档索引、API 对接或离线查阅场景。
