微信公众号 讲师中心
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
搜索
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程
自媒体 新闻
python - 爬虫抓取数据页一直返回HTTP code 417
黄舟
黄舟 2017-04-17 16:46:03
[Python讨论组]
0 2 627
举报

同一份代码在本地测试请求数据页返回200，

但是在线上之前请求的步骤都可以成功请求到，到请求数据页这步一直返回417

用Advanced REST client在本地模拟这段请求也是可以通过的

查了一下原因，有可能是服务器被识别被封了，如果是这样请问如何解决？谢谢

黄舟
黄舟

人生最曼妙的风景，竟是内心的淡定与从容！

全部回复(2)
大家讲道理
大家讲道理2017-04-17 16:48:03 2楼

爬虫有两点很重要，控制抓爬频率，使用代理抓爬，慢一点没关系，持久有效才是目标。

赞 +0
添加回复
PHPz
PHPz2017-04-17 16:48:03 1楼

很可能是服务器因为采集数据过多被封了，这样只能使用HTTP代理了

赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部