
本文介绍如何利用 R 的 rvest 和 glue 包,通过构造目标 URL 直接获取美国特拉华州环境观测系统(DEOS)网站的逐日气象数据,无需模拟表单提交或处理弹窗,支持批量下载多日、多站数据。
本文介绍如何利用 r 的 `rvest` 和 `glue` 包,通过构造目标 url 直接获取美国特拉华州环境观测系统(deos)网站的逐日气象数据,无需模拟表单提交或处理弹窗,支持批量下载多日、多站数据。
DEOS 官网(https://www.php.cn/link/c12eea7b764a37778affe67c805b8e11)虽以交互式表单呈现数据选择界面,但其背后实际采用基于 URL 参数的 GET 请求返回结果——这意味着你完全不必使用 rvest 模拟点击或填写下拉菜单,也无需处理 JavaScript 弹窗。关键在于识别并复用其真实数据接口地址。
经分析,该站点的每日数据由独立页面 station_daily.php 提供,所有必要参数均通过 URL 查询字符串(query string)传递。典型结构如下:
https://deos.udel.edu/odd-divas/station_daily.php?network=DEOS&station=DTBR&month=8&day=2&year=2024
其中:
-
network: 观测网络名称(如"DEOS") -
station: 站点代码(如"DTBR",对应 Adamsville, DE-Taber) -
month,day,year: 三位日期参数(注意:month为数字 1–12,非英文名)
✅ 因此,rvest 完全可行且高效——只需动态生成 URL 并用 read_html() + html_table() 解析即可,无需复杂会话管理或 DOM 操作。
✅ 基础示例:单日单站数据提取
library(rvest)
library(glue)
# 定义参数
network <- "DEOS"
station <- "DTBR" # Adamsville, DE-Taber
m <- 8 # August
d <- 2 # Day 2
y <- 2024
# 构造 URL(自动插值)
url <- glue("https://deos.udel.edu/odd-divas/station_daily.php?network={network}&station={station}&month={m}&day={d}&year={y}")
# 抓取并解析表格
tables <- url |>
read_html() |>
html_table(header = TRUE)
# 查看结构(通常包含5个表格:站点信息、小时数据、日统计、备注、版权)
str(tables, max.level = 1)输出中 tables[[2]] 即为关键的逐小时观测数据表(含温度、露点、湿度、风速等),tables[[3]] 为日统计汇总(最高/最低/平均温、降水等)。列名含换行符(如 "Temp\n(°F)"),建议后续用 janitor::clean_names() 或 stringr::str_replace_all() 标准化。
⚙️ 批量提取:一年内某站点的全部日数据
为获取某站点整年(如 2024 年)的逐日数据,推荐使用 purrr::map_dfr() 配合日期序列,避免 for 循环副作用,并自动合并结果:
library(purrr)
library(lubridate)
# 生成2024全年日期向量(注意:DEOS部分日期可能无数据,需容错)
date_seq <- seq(as.Date("2024-01-01"), as.Date("2024-12-31"), by = "day")
# 定义抓取函数(带错误处理)
fetch_daily <- function(date) {
m <- month(date)
d <- day(date)
y <- year(date)
url <- glue("https://deos.udel.edu/odd-divas/station_daily.php?network={network}&station={station}&month={m}&day={d}&year={y}")
tryCatch({
tables <- url |>
read_html() |>
html_table(header = TRUE)
# 提取日统计表(第3张表),添加日期标识
if (length(tables) >= 3 && nrow(tables[[3]]) > 0) {
tables[[3]] |>
mutate(date = as.Date(paste(y, m, d, sep = "-"))) |>
select(date, everything())
} else {
tibble(date = as.Date(paste(y, m, d, sep = "-")), status = "no_data")
}
}, error = function(e) {
tibble(date = as.Date(paste(y, m, d, sep = "-")), status = "error", error_msg = as.character(e))
})
}
# 并行抓取(可选,注意遵守 robots.txt 与速率限制)
daily_summary <- date_seq |>
map_dfr(fetch_daily, .progress = TRUE)
# 查看结果
print(daily_summary)⚠️ 重要注意事项
-
遵守网站政策:DEOS 明确提供历史数据 CSV 下载页,优先使用官方渠道(如
almanac页面导出功能),避免不必要爬取。 -
请求频率限制:若必须程序化获取,请在每次请求间加入
Sys.sleep(1)(至少 1 秒间隔),防止被限流或封 IP。 -
数据完整性校验:部分日期可能缺失(如设备维护期),需检查
nrow()或status字段过滤无效响应。 -
参数有效性:确保
station代码真实存在(可先从主页面解析<select id="station"></select>获取完整列表)。 - 替代方案:对大规模长期数据,建议联系 DEOS 获取 FTP 或 API 接入权限(官网注明提供“bulk data access”支持)。
综上,该任务不仅完全可行,而且比传统表单自动化更简洁、稳定、可扩展——核心在于理解 Web 数据服务的本质是 RESTful 接口调用,而非 UI 交互。掌握此思路,可快速迁移至同类气象、水文、环境监测平台的数据获取场景。

















