微信公众号 讲师中心
首页
文章
web3.0 后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 UI设计 计算机基础
编程手册
大前端 JavaScript 后端开发 数据库 移动端 运维开发 UI设计 计算机基础 XML Web Services
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机/移动开发 手机游戏
最近更新
搜索
web3.0 后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程
游戏教程 自媒体 新闻
各位python爬虫大牛看过来,这个网站的反爬虫怎么处理
曾经蜡笔没有小新
曾经蜡笔没有小新 2017-05-18 11:01:00
[Python讨论组]
0 4 1189
举报

https://www.everysaving.co.uk
通过python爬取这个网站的数据,然而返回不了数据,！我加入了header和代理IP去抓取,也不行,望各位大牛们不妨试试看。。。

曾经蜡笔没有小新
曾经蜡笔没有小新

全部回复(4)
迷茫
迷茫2017-05-18 11:03:00 4楼

代理访问网站可见下图：

通过https://www.17ce.com/，发现大陆几乎都被屏蔽了，Http状态返回403。
此网站的安全策略级别比较高，建议使用欧美地区的高匿代理 VPN或者服务器，降低抓取频次。

赞 +0
添加回复
为情所困
为情所困2017-05-18 11:03:00 3楼

fiddler抓包，浏览器发什么你就发什么

赞 +0
添加回复
迷茫
迷茫2017-05-18 11:03:00 2楼

你这个地址直接通过浏览器也访问不了呀，被墙了吧？

赞 +0
添加回复
过去多啦不再A梦
过去多啦不再A梦2017-05-18 11:03:00 1楼

我直接点开是不能访问的，测试用了新加坡的代理可以打开

赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部