本文介绍使用 nber 官方 restful api 替代传统 html 爬虫的方法，通过 jsonlite 直接解析结构化 json 数据，稳定、快速、免渲染地提取工作论文编号及标题、作者、摘要等元信息。
本文介绍使用 nber 官方 restful api 替代传统 html 爬虫的方法，通过 jsonlite 直接解析结构化 json 数据，稳定、快速、免渲染地提取工作论文编号及标题、作者、摘要等元信息。
NBER（美国国家经济研究局）网站虽提供公开工作论文列表，但其前端采用 JavaScript 动态渲染，直接使用 rvest 抓取 .paper-card__paper_number 类选择器会返回空结果（character(0)），根本原因在于目标内容并非静态 HTML，而是由客户端 JS 从 API 异步加载的。因此，绕过浏览器渲染、直连后端 API 是更可靠、高效且合规的方案。
NBER 提供了稳定的公开 REST API（如 https://www.nber.org/api/v1/working_page_listing/...），返回标准 JSON 格式数据，每页最多支持 100 条记录，字段丰富（含 url、title、displaydate、abstract、authors 等），远超单纯抓取编号的需求。
以下是在 R 中调用该 API 的完整实现：
library(dplyr)
library(jsonlite)
library(tidyr)
# 构造第一页 API 请求 URL（已编码，对应 Financial Economics 主题）
base_url <- "https://www.nber.org/api/v1/working_page_listing/contentType/working_paper/_/_/search"
query_params <- list(
facet = "topics%3AFinancial%20Economics",
page = 1,
perPage = 100,
sortBy = "public_date"
)
url_to_json <- modify_url(base_url, query = query_params)
# 获取并解析 JSON 响应
json_data <- fromJSON(url_to_json, simplifyVector = TRUE)
results_df <- as_tibble(json_data$results)
# 从 paper URL 中提取 WP 编号（如 "/papers/w31424" → "31424"）
results_df <- results_df %>%
mutate(
wp_id = str_extract(url, "(?<=/w)\d+"), # 推荐：正则精准匹配
displaydate = as.character(displaydate),
abstract = as.character(abstract)
)
# 查看关键字段
results_df %>%
select(displaydate, title, wp_id, abstract) %>%
head(10)✅ 关键优势说明：
- 稳定性高：不依赖页面 DOM 结构变化，API 接口长期维护；
- 性能优异：单次请求仅传输几 KB JSON，比加载完整 HTML+JS 快 5–10 倍；
- 信息完备：天然包含作者、摘要、发布日期、PDF 链接等，无需额外解析；
- 合规友好：符合 NBER 的数据使用政策，避免触发反爬机制。
? 分页与批量获取：
API 支持 page 参数分页。若需获取全部结果，可循环请求（注意速率限制，建议添加 Sys.sleep(0.5)）：
# 获取前 3 页（共最多 300 篇）
all_pages <- lapply(1:3, function(p) {
url_p <- modify_url(base_url, query = c(query_params, page = p))
json_p <- fromJSON(url_p, simplifyVector = TRUE)
as_tibble(json_p$results) %>%
mutate(wp_id = str_extract(url, "(?<=/w)\d+"))
})
papers_all <- bind_rows(all_pages) %>% distinct(wp_id, .keep_all = TRUE)⚠️ 注意事项：
- 不要高频请求（建议 ≥ 0.5 秒间隔），尊重 robots.txt 及服务端限流；
- urltools::modify_url() 或 httr::modify_url() 可安全构建带参数的 URL（避免手动拼接编码错误）；
- 若 str_extract(url, "(?
- 如需导出为 CSV：write_csv(papers_all, "nber_fin_econ_papers.csv")。
综上，面对现代动态网页，优先探索官方 API 是数据获取的最佳实践。本方案不仅解决了“抓不到 WP 编号”的问题，更将一次简单需求升级为可持续、可扩展的学术数据采集流程。
