
本文介绍如何使用 curl 在 php 中直接获取远程 json 文件内容,绕过浏览器强制下载限制,实现自动抓取、解析与使用动态更新的 json 数据。
本文介绍如何使用 curl 在 php 中直接获取远程 json 文件内容,绕过浏览器强制下载限制,实现自动抓取、解析与使用动态更新的 json 数据。
当访问类似 https://prices.csgotrader.app/latest/prices_v6.json 这类资源时,服务器常通过设置 HTTP 响应头(如 Content-Disposition: attachment)强制浏览器触发下载行为,而非内联显示。这虽不影响人工下载,却会导致 PHP 的 file_get_contents() 或 json_decode(file_get_contents($url)) 失败——因为 PHP 并不处理下载逻辑,也无法自动响应重定向或模拟用户代理。
推荐方案:使用 cURL 发起受控 HTTP 请求
cURL 支持精细控制请求头、超时、重定向和编码,能有效模拟真实浏览器行为,从而成功获取原始 JSON 字符串。以下是一个健壮、可生产环境使用的示例:
<?php
$url = 'https://prices.csgotrader.app/latest/prices_v6.json';
$ch = curl_init();
curl_setopt_array($ch, [
CURLOPT_URL => $url,
CURLOPT_RETURNTRANSFER => true, // 返回字符串而非直接输出
CURLOPT_HEADER => false, // 不返回响应头
CURLOPT_FOLLOWLOCATION => true, // 自动跟随 301/302 重定向
CURLOPT_ENCODING => '', // 启用 gzip/deflate 解压(空字符串启用默认支持)
CURLOPT_USERAGENT => 'PHP-cURL/1.0', // 避免被服务器拒绝
CURLOPT_CONNECTTIMEOUT => 10, // 连接超时(秒)
CURLOPT_TIMEOUT => 30, // 总请求超时(秒)
CURLOPT_SSL_VERIFYPEER => false, // 生产环境请设为 true 并配置 CA 证书
CURLOPT_SSL_VERIFYHOST => false, // 同上,仅调试时临时禁用
]);
$response = curl_exec($ch);
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
$errorMsg = curl_error($ch);
$errno = curl_errno($ch);
curl_close($ch);
// 检查请求是否成功
if ($errno !== 0) {
throw new RuntimeException("cURL error ({$errno}): {$errorMsg}");
}
if ($httpCode !== 200) {
throw new RuntimeException("HTTP {$httpCode} error fetching JSON from {$url}");
}
// 安全解析 JSON
$data = json_decode($response, true);
if (json_last_error() !== JSON_ERROR_NONE) {
throw new RuntimeException('Invalid JSON response: ' . json_last_error_msg());
}
// ✅ 此时 $data 是关联数组,可直接使用,例如:
// echo $data['items']['AK-47 | Fire Serpent']['price'];
print_r($data); // 调试时查看结构
?>✅ 关键优化说明:
- 显式设置
CURLOPT_USERAGENT可规避部分服务器对“无头请求”的拦截; -
CURLOPT_ENCODING => ''自动解压压缩响应(提升性能与兼容性); -
CURLOPT_SSL_*在开发阶段可设为false快速验证,上线前务必恢复为true并配置有效的 CA 证书路径(如curl_setopt($ch, CURLOPT_CAINFO, '/path/to/cacert.pem');); - 使用
json_decode($response, true)确保返回关联数组,便于 PHP 处理; - 必须校验
json_last_error(),防止因网络截断、编码异常等导致静默失败。
? 进阶建议:
使用 extruct 从原始 HTML 中提取机器可读的元数据,以便代理可以在不依赖脆弱的全页解析的情况下对页面进行分类、去重或丰富。它最适合元数据采集工作流,而不适用于爬取整个网站或渲染 JavaScript 密集型页面。
- 将该逻辑封装为函数,并添加本地缓存(如文件或 Redis),避免高频重复请求;
- 结合
filemtime()或 ETag 实现条件请求(If-None-Match),进一步降低带宽消耗; - 若需定时更新,可通过 Linux cron 或 Windows Task Scheduler 每日执行脚本,自动拉取并写入本地缓存文件备用。
通过以上方式,你无需手动上传 JSON,即可实时、可靠地接入动态更新的远程数据源。
立即学习“PHP免费学习笔记(深入)”;


















