本文介绍一种绕过前端渲染、直接调用 nber 官方 api 获取论文详情页 url 的高效方法，避免传统 html 解析的不稳定性和动态加载障碍，适用于批量获取工作论文（working papers）的跳转链接。
本文介绍一种绕过前端渲染、直接调用 nber 官方 api 获取论文详情页 url 的高效方法，避免传统 html 解析的不稳定性和动态加载障碍，适用于批量获取工作论文（working papers）的跳转链接。
NBER（美国国家经济研究局）官网的论文列表页（如 https://www.php.cn/link/85a3e572a7b6fb6583d3a3106d77bcca）并非通过静态 HTML 渲染标题链接，而是依赖 JavaScript 发起 XHR 请求，从后端 API 动态加载 JSON 数据并注入 DOM。这意味着：
- 使用 rvest 直接解析 HTML 通常无法捕获这些链接（因为原始 HTML 中不包含 <a href="..."> 标签）；
- 等待页面渲染再抓取（如 RSelenium）效率低、资源消耗大，且易受反爬策略或网络波动影响；
- 最优解是定位并调用其内部 API 接口，直接获取结构化 JSON 响应。
NBER 的论文列表 API 地址具有明确规律：
https://www.nber.org/api/v1/working_page_listing/contentType/working_paper/_/_/search
后接查询参数（如 page=1&perPage=50&sortBy=public_date）。该接口返回标准 JSON，其中 results 数组每项均含 url 字段——这正是论文标题所指向的相对路径（如 /papers/w31388）。
以下是在 R 中实现高效提取的完整代码（基于 httr2 或兼容 httr 的链式写法）：
# 加载必要包（如未安装，请先运行：install.packages(c("httr", "dplyr"))）
library(httr)
library(dplyr)
# 构建 API 请求 URL
api_base <- "https://www.nber.org/api/v1/working_page_listing/contentType/working_paper/_/_/search"
params <- list(page = 1, perPage = 50, sortBy = "public_date")
api_url <- modify_url(api_base, query = params)
# 发送请求并解析 JSON
response <- GET(api_url)
stop_for_status(response) # 检查 HTTP 状态码
json_data <- content(response, "parsed")
relative_urls <- json_data$results %>%
sapply(function(x) x$url, USE.NAMES = FALSE)
# 转换为绝对 URL
absolute_urls <- paste0("https://www.nber.org", relative_urls)
# 查看前 5 条结果
head(absolute_urls, 5)
# [1] "https://www.nber.org/papers/w31388"
# [2] "https://www.nber.org/papers/w31424"
# [3] "https://www.nber.org/papers/w31482"
# [4] "https://www.nber.org/papers/w31477"
# [5] "https://www.nber.org/papers/w31478"✅ 优势说明：
- 高可靠性：直连官方数据源，不受前端框架变更或 CSS 选择器失效影响；
- 高性能：单次轻量级 HTTP 请求，毫秒级响应，支持快速翻页（只需修改 page 参数）；
- 零依赖渲染：无需浏览器环境，适合服务器端批量任务或定时抓取。
⚠️ 注意事项：
- 返回的链接顺序不一定与网页视觉顺序一致（API 可能按数据库索引或缓存逻辑排序），若需严格保序，请结合 public_date 或其他字段二次排序；
- 遵守 NBER robots.txt 及合理请求频率（建议间隔 ≥1 秒），避免对服务造成压力；
- 如需获取多页数据，可封装为函数并循环调用（注意处理 results 为空的边界情况）；
- 若未来 API 路径变更，可通过浏览器开发者工具（Network → XHR）重新定位最新 endpoint。
掌握这一模式，你不仅能高效抓取 NBER 论文链接，更能举一反三：面对任何现代 SPA（单页应用）网站，优先检查其网络请求中的 JSON 接口，往往比“硬啃 HTML”更稳健、更可持续。
