本文详解如何使用 PHP 自动遍历无序 Base64 分页键（如 key=abc123...）的 JSON API，循环请求全部分页数据并批量插入 MySQL，适用于数千至数万页的大规模数据同步场景。
本文详解如何使用 php 自动遍历无序 base64 分页键（如 `key=abc123...`）的 json api，循环请求全部分页数据并批量插入 mysql，适用于数千至数万页的大规模数据同步场景。
在实际开发中，许多第三方 API 采用“非数字、非递增”的分页机制——例如将下一页标识符设计为随机 Base64 字符串（如 "key": "aGVsbG86d29ybGQ="），而非传统的 page=2 或 offset=100。这种设计虽提升了安全性与灵活性，却给自动化全量拉取带来挑战：无法预知总页数，也无法通过简单计数翻页。本文提供一套健壮、可落地的 PHP 解决方案，支持一次执行、自动翻页、持续入库、异常可控。
核心思路：以“数据存在性”驱动循环，而非页码计数
由于分页键不可预测且无序，我们放弃对页码的假设，转而依赖 API 响应本身的语义信号作为循环终止条件。最可靠的方式是：只要响应中包含有效业务数据（如 data 数组非空），就继续请求；一旦返回空数据或缺失分页键，则判定为末页，安全退出。
完整实现代码（含错误处理与性能优化）
<?php
// ⚠️ 关键前置：延长脚本最大执行时间（30k 页面需更长时间）
set_time_limit(3600); // 设为 1 小时，按需调整
$baseUrl = 'https://example.com/json?order=asc';
$nextKey = null; // 初始为空，首次请求不带 key
$totalInserted = 0;
do {
// 构建当前请求 URL
$url = $baseUrl;
if ($nextKey !== null) {
$url .= '&key=' . urlencode($nextKey);
}
// 使用 cURL 发起请求（推荐替代 file_get_contents）
$ch = curl_init();
curl_setopt_array($ch, [
CURLOPT_URL => $url,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 30,
CURLOPT_USERAGENT => 'PHP-DataSync/1.0',
CURLOPT_HTTPHEADER => ['Accept: application/json'],
]);
$response = curl_exec($ch);
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);
// HTTP 错误检查
if ($httpCode !== 200 || $response === false) {
error_log("API request failed: {$url}, HTTP {$httpCode}");
break;
}
// JSON 解析与结构验证
$data = json_decode($response, true);
if (json_last_error() !== JSON_ERROR_NONE) {
error_log("Invalid JSON response from: {$url}");
break;
}
// ✅ 提取业务数据（假设 data 字段为记录数组）
$records = $data['data'] ?? [];
if (!is_array($records) || empty($records)) {
echo "No more data found. Stopping at URL: {$url}\n";
break; // 终止条件：无数据即结束
}
// ? 提取下一页分页键（关键！从当前响应中读取）
$nextKey = $data['key'] ?? null;
if ($nextKey === null && !empty($records)) {
// 可选：若某些 API 用其他字段（如 next_cursor、cursor_after），请在此补充逻辑
error_log("Warning: 'key' not found in response, but records exist. Check API spec.");
break; // 防止无限循环
}
// ? 批量插入数据库（示例：PDO + 事务）
try {
$pdo = new PDO('mysql:host=localhost;dbname=test', $user, $pass);
$pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);
$pdo->beginTransaction();
$stmt = $pdo->prepare("INSERT INTO your_table (field1, field2) VALUES (?, ?)");
foreach ($records as $item) {
$stmt->execute([$item['field1'] ?? '', $item['field2'] ?? '']);
}
$pdo->commit();
$totalInserted += count($records);
echo "✅ Inserted " . count($records) . " records. Total: {$totalInserted}\n";
} catch (Exception $e) {
$pdo->rollback();
error_log("DB insert failed: " . $e->getMessage());
break;
}
// ? 可选：添加轻量延时，避免请求过频（遵守 API 速率限制）
usleep(100000); // 100ms
} while ($nextKey !== null);
echo "? Sync completed. Total inserted: {$totalInserted}\n";关键注意事项与最佳实践
- 永远校验响应结构：$data['data'] 和 $data['key'] 必须显式检查是否存在且类型正确，防止因 API 字段变更导致死循环或崩溃。
- 不要依赖 Content-Length 或 X-Total-Count：该类 Header 在 Base64 分页场景中通常不可靠或未提供。
- 启用日志与监控：在循环中记录每次请求 URL、HTTP 状态、插入数量及错误，便于排查中断点。
- 数据库事务粒度权衡：单次事务包含全部页面会极大消耗内存；建议每 100–500 条记录提交一次事务（本例为简化展示使用单次事务）。
- 生产环境必须加限流：通过 usleep() 或更专业的队列（如 Redis + cron）控制请求频率，避免被 API 限速或封禁。
- Base64 键无需解码：该键仅为服务端标识符，客户端只需原样传递，切勿尝试 base64_decode()——它可能根本不是标准编码，仅作 opaque token 使用。
掌握此模式后，你不仅能应对 Base64 分页，还可轻松适配 cursor、after、continuation_token 等各类无状态分页协议。核心始终不变：以数据为锚点，让 API 自己告诉你何时停止。
