本文详解如何通过 PHP cURL 实现基于游标（cursor）的分页 API 数据全自动拉取，持续请求直至 hasMore 为 false，并将全部响应追加写入本地文件，含健壮性处理与实用代码示例。
本文详解如何通过 php curl 实现基于游标（cursor）的分页 api 数据全自动拉取，持续请求直至 `hasmore` 为 `false`，并将全部响应追加写入本地文件，含健壮性处理与实用代码示例。
在调用支持游标分页（cursor-based pagination）的 RESTful API（如您使用的 /incoming/v2/content 端点）时，仅获取首页数据远远不够。真正的生产级实现需循环解析响应中的 pageInfo.hasMore 字段，并动态拼接 ?cursor=xxx 参数发起下一页请求，直到无更多数据为止。以下是一套安全、可读、可维护的完整实现方案。
CurlShip Directory Submission
下载
向CurlShip提交产品，这是一个对机器人友好的SaaS目录。只需一条curl命令即可发布产品，支持OG标签抓取、带徽章的dofollow链接及层级升级。
✅ 核心逻辑说明
- 初始化空文件（避免残留旧数据）；
- 使用
while (true)循环 + 显式break控制流程，语义清晰； - 每次请求后 必须解析 JSON 响应体，提取
pageInfo.hasMore和pageInfo.cursor； - 仅当
hasMore === true且cursor存在时，才构造下一页 URL；否则终止循环； - 使用
FILE_APPEND | LOCK_EX写入文件，确保多进程安全与数据完整性。
? 完整可运行代码（含错误处理与注释）
<?php
$baseUrl = "https://myURL/incoming/v2/content";
$token = "Bearer key";
$filename = 'CURL-CONTENT.txt';
// 清空或创建目标文件
file_put_contents($filename, '', LOCK_EX);
$cursor = null; // 初始无 cursor，首请求不带参数
$hasMore = true;
while ($hasMore) {
// 构造当前请求 URL
$url = $baseUrl . ($cursor ? '?cursor=' . urlencode($cursor) : '');
$curl = curl_init();
curl_setopt_array($curl, [
CURLOPT_URL => $url,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_HTTPHEADER => [
"Accept: application/json",
"Authorization: $token"
],
CURLOPT_SSL_VERIFYHOST => false, // 仅开发环境启用
CURLOPT_SSL_VERIFYPEER => false, // 生产环境务必设为 true 并配置 CA 证书
CURLOPT_TIMEOUT => 30,
CURLOPT_USERAGENT => 'PHP-cURL/1.0',
]);
$resp = curl_exec($curl);
$httpCode = curl_getinfo($curl, CURLINFO_HTTP_CODE);
$error = curl_error($curl);
curl_close($curl);
// 基础错误处理
if ($resp === false || $httpCode >= 400) {
error_log("[API ERROR] HTTP {$httpCode}: {$error} | URL: {$url}");
break;
}
// 解析 JSON 响应（关键！）
$data = json_decode($resp, true);
if (json_last_error() !== JSON_ERROR_NONE) {
error_log("[JSON ERROR] Invalid response: " . substr($resp, 0, 200));
break;
}
// 提取分页信息（假设结构为 { "data": [...], "pageInfo": { "cursor": "Mg", "hasMore": true } }）
$pageInfo = $data['pageInfo'] ?? [];
$hasMore = isset($pageInfo['hasMore']) && $pageInfo['hasMore'] === true;
$cursor = $pageInfo['cursor'] ?? null;
// 写入文件（追加 + 文件锁，防并发覆盖）
file_put_contents($filename, $resp . "\n", FILE_APPEND | LOCK_EX);
// 可选：调试输出当前页状态
echo "✓ Fetched page. hasMore={$hasMore}, next cursor=" . ($cursor ?: 'none') . "\n";
}
echo "✅ Done. Total data written to {$filename}\n";
?>⚠️ 重要注意事项
-
永远不要在生产环境禁用 SSL 验证（即移除
CURLOPT_SSL_VERIFYHOST/CURLOPT_SSL_VERIFYPEER的false设置），应配置正确的 CA 证书路径； -
urlencode($cursor)是必须操作，防止特殊字符（如+,/,=）破坏 URL 结构； - 若 API 返回结构嵌套更深（例如
data.pageInfo），请按实际响应调整$data['pageInfo']路径； - 建议添加请求延迟（如
usleep(100000)）以遵守 API 速率限制； - 对于超大数据集，考虑流式写入或分批次处理，避免内存溢出。
该方案兼顾简洁性与鲁棒性，可直接集成至脚本或 Cron 任务中，稳定支撑大规模 API 数据同步需求。
