讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

Seko
Seko

AI短剧一键生成成片

Laper
Laper

剧本策划到成片协作

立刻MV
立刻MV

低成本歌曲 MV、视频生成

如何通过 R 自动化提取 DEOS 气象站点的逐日观测数据(含站点与日期参数)

秋丽姑娘_9960

秋丽姑娘_9960

发布时间:2026-11-16 09:06:29

|

333人浏览过

|

来源于php中文网

原创

如何通过 R 自动化提取 DEOS 气象站点的逐日观测数据(含站点与日期参数)

本文介绍如何利用 R 的 rvest 和 glue 包,通过构造目标 URL 直接获取美国特拉华州环境观测系统(DEOS)网站的逐日气象数据,无需模拟表单提交或处理弹窗,支持批量下载多日、多站数据。

本文介绍如何利用 r 的 `rvest` 和 `glue` 包,通过构造目标 url 直接获取美国特拉华州环境观测系统(deos)网站的逐日气象数据,无需模拟表单提交或处理弹窗,支持批量下载多日、多站数据。

DEOS 官网(https://www.php.cn/link/c12eea7b764a37778affe67c805b8e11)虽以交互式表单呈现数据选择界面,但其背后实际采用基于 URL 参数的 GET 请求返回结果——这意味着你完全不必使用 rvest 模拟点击或填写下拉菜单,也无需处理 JavaScript 弹窗。关键在于识别并复用其真实数据接口地址。

经分析,该站点的每日数据由独立页面 station_daily.php 提供,所有必要参数均通过 URL 查询字符串(query string)传递。典型结构如下:

https://deos.udel.edu/odd-divas/station_daily.php?network=DEOS&station=DTBR&month=8&day=2&year=2024

其中:

  • network: 观测网络名称(如 "DEOS")
  • station: 站点代码(如 "DTBR",对应 Adamsville, DE-Taber)
  • month, day, year: 三位日期参数(注意:month 为数字 1–12,非英文名)

✅ 因此,rvest 完全可行且高效——只需动态生成 URL 并用 read_html() + html_table() 解析即可,无需复杂会话管理或 DOM 操作。

✅ 基础示例:单日单站数据提取

library(rvest)
library(glue)

# 定义参数
network <- "DEOS"
station <- "DTBR"  # Adamsville, DE-Taber
m <- 8              # August
d <- 2              # Day 2
y <- 2024

# 构造 URL(自动插值)
url <- glue("https://deos.udel.edu/odd-divas/station_daily.php?network={network}&station={station}&month={m}&day={d}&year={y}")

# 抓取并解析表格
tables <- url |>
  read_html() |>
  html_table(header = TRUE)

# 查看结构(通常包含5个表格:站点信息、小时数据、日统计、备注、版权)
str(tables, max.level = 1)

输出中 tables[[2]] 即为关键的逐小时观测数据表(含温度、露点、湿度、风速等),tables[[3]] 为日统计汇总(最高/最低/平均温、降水等)。列名含换行符(如 "Temp\n(°F)"),建议后续用 janitor::clean_names() 或 stringr::str_replace_all() 标准化。

⚙️ 批量提取:一年内某站点的全部日数据

为获取某站点整年(如 2024 年)的逐日数据,推荐使用 purrr::map_dfr() 配合日期序列,避免 for 循环副作用,并自动合并结果:

library(purrr)
library(lubridate)

# 生成2024全年日期向量(注意:DEOS部分日期可能无数据,需容错)
date_seq <- seq(as.Date("2024-01-01"), as.Date("2024-12-31"), by = "day")

# 定义抓取函数(带错误处理)
fetch_daily <- function(date) {
  m <- month(date)
  d <- day(date)
  y <- year(date)

  url <- glue("https://deos.udel.edu/odd-divas/station_daily.php?network={network}&station={station}&month={m}&day={d}&year={y}")

  tryCatch({
    tables <- url |>
      read_html() |>
      html_table(header = TRUE)

    # 提取日统计表(第3张表),添加日期标识
    if (length(tables) >= 3 && nrow(tables[[3]]) > 0) {
      tables[[3]] |>
        mutate(date = as.Date(paste(y, m, d, sep = "-"))) |>
        select(date, everything())
    } else {
      tibble(date = as.Date(paste(y, m, d, sep = "-")), status = "no_data")
    }
  }, error = function(e) {
    tibble(date = as.Date(paste(y, m, d, sep = "-")), status = "error", error_msg = as.character(e))
  })
}

# 并行抓取(可选,注意遵守 robots.txt 与速率限制)
daily_summary <- date_seq |>
  map_dfr(fetch_daily, .progress = TRUE)

# 查看结果
print(daily_summary)

⚠️ 重要注意事项

  • 遵守网站政策:DEOS 明确提供历史数据 CSV 下载页,优先使用官方渠道(如 almanac 页面导出功能),避免不必要爬取。
  • 请求频率限制:若必须程序化获取,请在每次请求间加入 Sys.sleep(1)(至少 1 秒间隔),防止被限流或封 IP。
  • 数据完整性校验:部分日期可能缺失(如设备维护期),需检查 nrow() 或 status 字段过滤无效响应。
  • 参数有效性:确保 station 代码真实存在(可先从主页面解析 <select id="station"></select> 获取完整列表)。
  • 替代方案:对大规模长期数据,建议联系 DEOS 获取 FTP 或 API 接入权限(官网注明提供“bulk data access”支持)。

综上,该任务不仅完全可行,而且比传统表单自动化更简洁、稳定、可扩展——核心在于理解 Web 数据服务的本质是 RESTful 接口调用,而非 UI 交互。掌握此思路,可快速迁移至同类气象、水文、环境监测平台的数据获取场景。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

SoundView
SoundView Hot

SoundView是一款面向跨境电商的视频翻译、配音和本地化 AI 创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
PHP 命令行脚本与自动化任务开发
PHP 命令行脚本与自动化任务开发

本专题系统讲解 PHP 在命令行环境(CLI)下的开发与应用,内容涵盖 PHP CLI 基础、参数解析、文件与目录操作、日志输出、异常处理,以及与 Linux 定时任务(Cron)的结合使用。通过实战示例,帮助开发者掌握使用 PHP 构建 自动化脚本、批处理工具与后台任务程序 的能力。

526

2025.12.13

Figma AI自动化智能数据填充与交互生成实战
Figma AI自动化智能数据填充与交互生成实战

告别机械重复,详细演示如何用 AI 填充业务真实数据,并自动为页面添加交互连线,将静态设计稿快速转变为动态原型。

365

2026.05.13

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

100

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

60

2026.11.12

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

60

2026.11.12

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

160

2026.11.06

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

120

2026.11.06

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

120

2026.11.06

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

100

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn