本文介绍在php中安全、稳定地分页拉取数十万级api数据的完整方案，涵盖jwt鉴权、速率控制、防重入机制、断点续传及存储优化，避免因并发请求导致服务过载或限流失败。
本文介绍在php中安全、稳定地分页拉取数十万级api数据的完整方案，涵盖jwt鉴权、速率控制、防重入机制、断点续传及存储优化，避免因并发请求导致服务过载或限流失败。
在处理如30万+记录的大规模API数据时，盲目循环请求所有分页（例如12,000+页 × 25条/页）极易触发限流（如题中“50次请求/3分钟”）、内存溢出或脚本超时。关键不在于“快”，而在于“稳”与“可持续”。以下是经过生产验证的PHP分页拉取最佳实践：
✅ 核心原则
- 绝不前端JS执行：浏览器环境无法可靠控制请求节流、无持久状态、易被中断，且JWT令牌暴露风险高；后端PHP + 定时任务才是唯一合理选择。
- 必须防重入：避免cron重复触发导致请求堆叠、资源耗尽。
-
必须持久化进度：每次成功获取一页后，记录当前
page或cursor，支持断点续传。 - 必须遵守速率限制：严格按API规则（如50 req / 180 sec ≈ 每3.6秒1次）匀速请求，建议预留缓冲（如每4秒1次）。
?️ 推荐实现方案（PHP + Cron）
<?php
// config.php
define('API_BASE_URL', 'https://api.example.com/v1/items');
define('JWT_TOKEN', 'eyJhbGciOiJIUzI1NiIs...'); // 建议从环境变量或安全配置读取
define('PAGE_SIZE', 25);
define('REQUEST_INTERVAL_MS', 4000); // 4秒/次，严守限流余量
// status.lock —— 简单文件锁（生产环境建议用Redis或数据库标记）
$lockFile = __DIR__ . '/status.lock';
$progressFile = __DIR__ . '/progress.json';
// 1. 防重入检查
if (file_exists($lockFile) && (time() - filemtime($lockFile)) < 300) {
echo "Script is still running or crashed recently. Exiting.\n";
exit(1);
}
file_put_contents($lockFile, 'RUNNING');
// 2. 读取上次进度（默认从第1页开始）
$progress = json_decode(file_get_contents($progressFile) ?: '{"page": 1, "total_fetched": 0}', true);
$page = $progress['page'];
$totalFetched = $progress['total_fetched'];
// 3. 分页循环获取（带异常处理与节流）
do {
$url = API_BASE_URL . "?limit=" . PAGE_SIZE . "&offset=" . (($page - 1) * PAGE_SIZE);
$ch = curl_init();
curl_setopt_array($ch, [
CURLOPT_URL => $url,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_HTTPHEADER => [
"Authorization: Bearer " . JWT_TOKEN,
"Content-Type: application/json"
],
CURLOPT_TIMEOUT => 30,
]);
$response = curl_exec($ch);
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);
if ($httpCode !== 200 || !$response) {
error_log("API request failed on page {$page}: HTTP {$httpCode}");
break; // 或记录错误后 continue（跳过该页）
}
$data = json_decode($response, true);
if (json_last_error() !== JSON_ERROR_NONE) {
error_log("Invalid JSON on page {$page}");
break;
}
// ✅ 处理当前页数据：写入文件（推荐追加模式）或批量插入数据库
file_put_contents('all_data.jsonl', json_encode($data['items'] ?? []) . "\n", FILE_APPEND | LOCK_EX);
$totalFetched += count($data['items'] ?? []);
$page++;
// 更新进度文件（原子写入）
file_put_contents($progressFile, json_encode([
'page' => $page,
'total_fetched' => $totalFetched,
'updated_at' => date('c')
], JSON_UNESCAPED_UNICODE));
// ⏳ 严格节流：休眠至下一次请求时间点
usleep(REQUEST_INTERVAL_MS * 1000);
} while (!empty($data['items']) && count($data['items']) === PAGE_SIZE);
// 4. 清理锁
unlink($lockFile);
echo "Finished at page {$page}, total fetched: {$totalFetched}\n";
?>⚠️ 关键注意事项
-
存储选型：
- 数据量大时，禁用内存累积数组（如
$allData[] = $item），改用逐行写入JSON Lines（.jsonl）文件或直接批量INSERT到MySQL/PostgreSQL。 - 若需后续分析，推荐导入ClickHouse或Elasticsearch。
- 数据量大时，禁用内存累积数组（如
-
JWT刷新：若Token有短时效（如1小时），需在循环中检测
401响应并自动刷新Token，再重试当前页。 -
监控与告警：在脚本中加入日志记录（如
error_log()）和关键指标（耗时、失败页码），配合Logrotate与邮件告警。 -
Cron设置示例（每5分钟运行一次，确保单次执行
*/5 * * * * cd /path/to/script && php fetch_api.php >> /var/log/api-fetch.log 2>&1
✅ 总结
获取海量分页API数据不是“写个循环就行”，而是涉及限流合规性、进程互斥、状态持久化、错误恢复的系统工程。采用PHP后台+定时任务+文件/数据库进度跟踪的组合，既能满足API约束，又能保障长期稳定运行。切勿尝试前端JavaScript方案——它在可靠性、安全性与可维护性上全面失格。
