本文详解为何 php 的 curl 请求被 bartleby 拒绝而 python requests 却成功，并提供可直接运行的修复方案，涵盖 http 头格式规范、user-agent 设置、cookie 传递及调试技巧。
本文详解为何 php 的 curl 请求被 bartleby 拒绝而 python requests 却成功，并提供可直接运行的修复方案，涵盖 http 头格式规范、user-agent 设置、cookie 传递及调试技巧。
Bartleby 等现代网站普遍采用主动式反爬机制：不仅校验请求头（如 User-Agent、Accept），还严格验证 HTTP 头字段语法、Cookie 有效性及请求上下文（如 Sec-Fetch-*）。你的 PHP 代码失败的根本原因并非“cURL 本身不可用”，而是请求构造不合规——既遗漏关键字段，又误用了 CURLOPT_HTTPHEADER 的数组键值格式。
? 关键错误解析与修复
❌ 错误 1：HTTP 头格式错误
PHP 的 CURLOPT_HTTPHEADER 必须传入字符串数组，而非关联数组。以下写法是无效的（会被忽略）：
curl_setopt($ch, CURLOPT_HTTPHEADER, [
'authority' => 'www.bartleby.com', // ❌ 键值对 → 不生效！
'user-agent' => 'Mozilla/5.0...' // 同样被丢弃
]);✅ 正确写法（冒号分隔的字符串）：
curl_setopt($ch, CURLOPT_HTTPHEADER, [
'Authority: www.bartleby.com',
'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language: en-US,en;q=0.6',
'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.115 Safari/537.36',
'Sec-Fetch-Dest: document',
'Sec-Fetch-Mode: navigate',
'Sec-Fetch-Site: same-origin',
'Upgrade-Insecure-Requests: 1',
'Accept-Encoding: gzip'
]);? 注意：HTTP 头字段名区分大小写（如 Authority 而非 authority），且需严格遵循 Key: Value 格式。建议直接复制浏览器 DevTools → Network 中的真实请求头。
立即学习“PHP免费学习笔记（深入）”；
CurlShip Directory Submission下载向CurlShip提交产品，这是一个对机器人友好的SaaS目录。只需一条curl命令即可发布产品，支持OG标签抓取、带徽章的dofollow链接及层级升级。
❌ 错误 2：未显式设置 User-Agent
即使你尝试在 CURLOPT_HTTPHEADER 中设置 user-agent，因格式错误导致该头从未发出。服务器将空 User-Agent 视为爬虫或非法请求，直接返回 404 Not Found 或 503 Service Unavailable。
✅ 强烈推荐双重保险：既通过 CURLOPT_USERAGENT 显式设置，也在 CURLOPT_HTTPHEADER 中声明：
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.115 Safari/537.36');
❌ 错误 3：Cookie 传递方式不当
你在 CURLOPT_COOKIE 中拼接了长 Cookie 字符串，但 Bartleby 的会话依赖 accessToken 和 refreshToken 的时效性。若 Cookie 过期或签名失效，请求将被拒绝。
✅ 推荐更健壮的方式：使用 CURLOPT_COOKIEJAR + CURLOPT_COOKIEFILE 自动管理会话（需先登录获取有效 Cookie），或改用 CURLOPT_HTTPHEADER 注入 Cookie: 头（注意格式）：
// ✅ 正确的 Cookie 头（单条字符串） 'Cookie: G_ENABLED_IDPS=google; refreshToken=330bb387263aa6673c3e39e975d729f723b38002; userId=4c28bc2c-1eec-4d2c-b44d-7bfa78216ba3; accessToken=34ceed9609a07bd0238a74b5650d5c5362990498'
✅ 完整可运行修复版代码
<?php
$url = 'https://www.bartleby.com/questions-and-answers/1.-a-given-the-lines-l-7-124-tk-13k-1-k-3-and-l-x2-3s-y-1-10s-z-3-5s-determine-the-values-of-k-if-po/b88e3e3d-bfd6-4158-8335-6a3ca420430e';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 允许重定向
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 开发环境临时关闭证书验证（生产环境请启用）
curl_setopt($ch, CURLOPT_TIMEOUT, 30);
// ✅ 正确设置 User-Agent（双重保障）
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.115 Safari/537.36');
// ✅ 正确格式的 HTTP 头（字符串数组）
curl_setopt($ch, CURLOPT_HTTPHEADER, [
'Authority: www.bartleby.com',
'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Accept-Language: en-US,en;q=0.6',
'Cache-Control: max-age=0',
'Sec-Fetch-Dest: document',
'Sec-Fetch-Mode: navigate',
'Sec-Fetch-Site: same-origin',
'Sec-Fetch-User: ?1',
'Sec-GPC: 1',
'Upgrade-Insecure-Requests: 1',
'Accept-Encoding: gzip',
// ✅ 正确格式的 Cookie 头（请替换为你的有效 Cookie）
'Cookie: G_ENABLED_IDPS=google; refreshToken=330bb387263aa6673c3e39e975d729f723b38002; userId=4c28bc2c-1eec-4d2c-b44d-7bfa78216ba3; userStatus=A1; accessToken=34ceed9609a07bd0238a74b5650d5c5362990498'
]);
// ✅ 可选：调试请求头（检查是否发出）
// curl_setopt($ch, CURLOPT_HEADERFUNCTION, function($ch, $header) {
// echo "REQUEST HEADER: " . trim($header) . "<br>";
// return strlen($header);
// });
$response = curl_exec($ch);
$httpCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if (curl_errno($ch)) {
die('cURL Error: ' . curl_error($ch));
}
curl_close($ch);
// 输出状态码与响应内容（生产环境请做 HTML 清洗）
echo "<h3>HTTP Status: {$httpCode}</h3>";
echo "<pre>" . htmlspecialchars(substr($response, 0, 2000)) . "...</pre>"; // 防 XSS，仅显示前2KB
?>⚠️ 重要注意事项
- Cookie 时效性：Bartleby 的 accessToken 通常 24 小时过期，硬编码 Cookie 会快速失效。生产环境应实现自动登录流程或使用持久化会话管理。
- 服务端限制：频繁请求可能触发 IP 封禁。建议添加随机延迟（usleep(rand(1000000, 3000000))）并轮换 User-Agent。
- 法律与合规：务必查阅 Bartleby Robots.txt 及其 Terms of Service，未经授权的大规模抓取可能违反协议。
- 替代方案：若仍被拦截，可考虑使用无头浏览器（如 Puppeteer via Node.js API）或专业爬虫服务（如 ScrapingBee），但需权衡成本与复杂度。
通过严格遵循 HTTP 协议规范、精准模拟真实浏览器行为，PHP cURL 完全可以可靠地抓取 Bartleby 等受保护站点——关键在于细节，而非工具本身。
