本文介绍如何绕过前端渲染，直接调用nber网站的内部api接口，以高效、稳定地批量获取工作论文标题所对应的完整url链接，避免html解析陷阱与动态加载干扰。
本文介绍如何绕过前端渲染，直接调用nber网站的内部api接口，以高效、稳定地批量获取工作论文标题所对应的完整url链接，避免html解析陷阱与动态加载干扰。
在Web数据采集实践中，许多现代学术网站（如NBER）采用JavaScript动态加载内容：页面初始HTML中并不包含论文标题或链接，而是通过AJAX请求（XHR）从后端API拉取JSON数据，再由前端渲染为超链接。若盲目使用rvest对原始HTML进行CSS选择器提取（例如 html_elements("a.title")），将一无所获——因为目标链接根本不存在于静态HTML源码中。
正确策略是：定位并直连其数据源API。通过浏览器开发者工具（F12 → Network → XHR），可观察到NBER论文列表页实际调用如下JSON接口：
https://www.nber.org/api/v1/working_page_listing/contentType/working_paper/_/_/search?page=1&perPage=50&sortBy=public_date
该接口返回结构化JSON，其中每篇论文的url字段即为标题所指向的相对路径（如 /papers/w31388）。我们无需解析HTML、无需模拟点击、无需等待JS执行，仅需一次HTTP请求即可批量获取全部链接，兼具效率与鲁棒性。
以下是完整的R实现（基于httr2风格链式语法，兼容httr）：
library(httr)
library(jsonlite)
# 构建API请求URL
api_url <- "https://www.nber.org/api/v1/working_page_listing/contentType/working_paper/_/_/search" |>
paste0("?page=1&perPage=50&sortBy=public_date")
# 发起GET请求并解析JSON
response <- GET(api_url) %>%
content("parsed") # 自动解析为R list
# 提取所有论文的相对URL
relative_urls <- response$results |>
sapply(function(x) x$url, USE.NAMES = FALSE)
# 转换为绝对URL（拼接基础域名）
full_urls <- paste0("https://www.nber.org", relative_urls)
# 查看前5条结果
head(full_urls, 5)
# [1] "https://www.nber.org/papers/w31388"
# [2] "https://www.nber.org/papers/w31424"
# [3] "https://www.nber.org/papers/w31482"
# [4] "https://www.nber.org/papers/w31477"
# [5] "https://www.nber.org/papers/w31478"✅ 关键优势说明：
- 稳定性高：不依赖HTML结构变化，API接口通常比前端DOM更持久；
- 性能优异：单次轻量级JSON请求替代多次DOM解析与网络等待；
- 精准匹配：results$url 字段天然对应标题超链接，天然排除作者名、机构名等无关链接；
- 可扩展性强：只需修改 page 和 perPage 参数即可分页抓取（注意遵守robots.txt及网站使用条款）。
⚠️ 注意事项：
- 返回结果默认按public_date排序，但实际顺序可能与页面视觉顺序存在微小差异（如服务端缓存或异步写入导致），如需严格保序，请核对JSON中public_date字段并手动排序；
- 部分论文URL可能为重定向链接（如跳转至最新版本），若需最终落地页，建议对关键链接做HEAD请求验证；
- 批量调用时请添加合理延时（如Sys.sleep(1)），尊重服务器负载，并优先查阅NBER官方数据政策。
掌握这种“逆向定位API”的思路，不仅能高效解决NBER链接采集问题，更是现代网页爬虫的核心能力——数据在哪里生成，就从哪里拿；而非在渲染后的废墟里翻找痕迹。
