javascript - 使用ruquest爬取某些豆瓣页面总是返回404?
天蓬老师
天蓬老师 2017-04-11 10:28:01
[JavaScript讨论组]

应该不是封IP的缘故吧?request某些豆瓣电影页面总是会返回404,但同一时间段request其他页面都是返回正常的。
比如 request ‘https://movie.douban.com/subj...’ 就总是会返回404
但是在同一时间段request ‘https://movie.douban.com/subj...’ 返回是正常的
哪位能够帮忙解答一下?

天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

全部回复(1)
怪我咯

你是否设置了头部?豆瓣某些页面需要游客cookie才可以访问,你的爬虫如果直接孔cookie请求可能会被拦截。你最好通过requests等库维持一个cookie会话

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号