讲师中心 微信公众号
AI工具推荐 视频效率加速

如何抓取天气数据_PHP抓取中国天气网信息教程【方法】

轻浩吖_4195

轻浩吖_4195

发布时间:2026-02-22 23:10:03

|

1223人浏览过

|

来源于php中文网

原创

中国天气网反爬严格,需用curl设置User-Agent、Referer等请求头并处理编码;优先调用其稳定JSON接口(如/data/sk/),响应为GB2312需转UTF-8后再json_decode。

如何抓取天气数据_php抓取中国天气网信息教程【方法】

file_get_contents 和 curl 都能用,但中国天气网已默认启用反爬机制,直接请求大概率返回空页或 403 —— 这不是你代码写错了,是网站加了 User-Agent 检查、Referer 校验,甚至部分接口还依赖 Cookie 或 JS 渲染。


用 curl 抓取前必须设置基础请求头

中国天气网(如 <a href="https://www.php.cn/link/7fe059987fe6e9d0cb6a7c2e98874d4c">https://www.php.cn/link/7fe059987fe6e9d0cb6a7c2e98874d4c</a>)对无头请求非常敏感。不设 User-Agent 和 Referer,curl_exec 很可能返回空白字符串或重定向到首页。

实操建议:

  • 必须设置 CURLOPT_USERAGENT,例如 "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
  • 推荐加上 CURLOPT_REFERER,值设为同域名首页:"http://www.weather.com.cn/"
  • 关闭 SSL 验证(仅开发测试时):CURLOPT_SSL_VERIFYPEER => false
  • 开启 CURLOPT_FOLLOWLOCATION,避免因 302 跳转导致内容丢失
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36');
curl_setopt($ch, CURLOPT_REFERER, 'http://www.weather.com.cn/');
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
$content = curl_exec($ch);
curl_close($ch);

DOMDocument 解析失败?先检查编码和 HTML 结构完整性

DOMDocument::loadHTML() 对 malformed HTML 极其脆弱。中国天气网页面常含未闭合标签、中文注释、乱码字符(如 天气),直接 load 可能静默失败或报 Warning,导致 $xpath->query() 返回空结果。

立即学习“PHP免费学习笔记(深入)”;

常见错误现象:

  • $days = $xpath->query('//div[@id="7d"]//li') 返回 0 个节点,但浏览器里明明有
  • DOMDocument 报 Entity 'nbsp' not found 类警告

解决办法:

btpanel phpsite 宝塔面板PHP网站
btpanel phpsite 宝塔面板PHP网站

宝塔面板 PHP 网站管理:站点创建、删除、启停、PHP 版本切换、域名管理、SSL证书管理、伪静态管理、数据库管理

下载
  • 用 mb_convert_encoding($content, 'HTML-ENTITIES', 'UTF-8') 统一转码
  • 用正则预清理注释:$content = preg_replace('/<!--[\s\S]*?-->/', '', $content)
  • 加载前补全 doctype(可选):$content = '' . $content . ''

别硬啃网页源码,优先用官方 JSON 接口

中国天气网实际提供多个未公开但长期稳定的 JSON 接口,比解析 HTML 更可靠、更轻量:

三个可用地址(城市编码需查表,如北京 101010100):

  • 实时数据:http://www.weather.com.cn/data/sk/101010100.html
  • 当日详情:http://www.weather.com.cn/data/cityinfo/101010100.html
  • 7天预报:http://m.weather.com.cn/data/101010100.html

这些接口返回标准 JSON,无需 XPath 或正则,json_decode(file_get_contents($url), true) 即可拿到数组。注意:

  • 响应是 GB2312 编码,需用 iconv('GB2312', 'UTF-8', $json_str) 转换后再 decode
  • http://m.weather.com.cn/data/... 返回的是嵌套结构,主数据在 $data['weatherinfo'] 下
  • 部分接口已弃用(如旧版 /data/ 地址),若返回 404,换用 /data/sk/ 或迁移到和风天气等正规 API

城市编码怎么找?别手动扒网页

中国天气网没有公开的城市 ID 映射表,但可通过以下方式快速获取:

  • 访问 http://www.weather.com.cn/forecast/,打开开发者工具 → Network → 切换城市,观察 XHR 请求里的 cityid 参数
  • 用现成的离线映射文件(如 GitHub 上搜 china-weather-city-code),多数含 CSV/JSON 格式
  • 调用淘宝 IP 定位接口粗略判断(仅作参考):http://ip.taobao.com/service/getIpInfo.php?ip=your_ip → 提取 data.city 后再匹配

最稳妥的做法:把常用城市(北上广深杭等)的编码写死在配置数组里,避免每次请求都去查。


真正卡住人的从来不是“怎么写循环”,而是 curl 拿不到内容、DOMDocument 解析无声失败、或者今天还能用的接口明天就 404 —— 所以务必加日志:记录 curl_getinfo($ch, CURLINFO_HTTP_CODE) 和原始 $content 前 200 字符,否则排查起来全是黑盒。

相关文章

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

php

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2275

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3702

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1236

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

4279

2025.09.10

cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

12679

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1306

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

864

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

1966

2025.08.19

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
墨刀帮助中心
墨刀帮助中心

共0课时 | 0人学习

MyEclipse学习中心
MyEclipse学习中心

共0课时 | 0人学习

Apache Subversion 官方手册
Apache Subversion 官方手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn