python - Phantomjs爬取百度百科使用代理proxy后爬取页面信息缺失,未能加载js。
伊谢尔伦
伊谢尔伦 2017-04-18 10:13:55
[Python讨论组]

1、问题描述

想要利用Phantomjs爬取百度百科,在不使用代理的情况下,能够爬取JS加载后的一些信息,比如收藏量等,但是,在使用了代理后,这些信息都没有加载,显示为0,以下是具体的代码,由于是刚刚入手爬虫,不知道错在哪里了,求大神指点?

2、代码
使用代理
if name == "__main__":

url = 'http://baike.baidu.com/link?url=LsKzFDa_VnsXY3jc5qnIEtAp8wFMuNr9pmAulJcUIIcO7PCT7U5OTj6DhZbvJE_hxag0Oy2_s4JXMrZlR0m6JyZTXVLb44_bQd1s5O1fWcy'
service_args = ['--proxy=http://proxy.com:xxxx','--proxy-auth=user:pass','--proxy-type=http']
browser = webdriver.PhantomJS(service_args=service_args)
browser.get(url)
page = browser.page_source
print page

若不使用代理
if name == "__main__":

url = 'http://baike.baidu.com/link?url=LsKzFDa_VnsXY3jc5qnIEtAp8wFMuNr9pmAulJcUIIcO7PCT7U5OTj6DhZbvJE_hxag0Oy2_s4JXMrZlR0m6JyZTXVLb44_bQd1s5O1fWcy'
browser = webdriver.PhantomJS()
browser.get(url)
page = browser.page_source
print page
伊谢尔伦
伊谢尔伦

小伙看你根骨奇佳,潜力无限,来学PHP伐。

全部回复(1)
天蓬老师

或许是你的代理服务器问题,你尝试使用requests库测试下

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号