node.js - 使用 Scraperjs 抓取动态网页内容,有些成功,有些却失败了?
阿神
阿神 2017-04-17 11:56:14
[Node.js讨论组]

失败的网站仍然返回了网页源码。在我的理解上无界面浏览器不就是把网页源码取回来,让后自己渲染成 HTML 结构返回给调用者,为什么会出现有些网站成功有些网站不成功呢?不成功的网站为百度图片,豆瓣电影。

阿神
阿神

闭关修行中......

全部回复(1)
PHP中文网

有些内容是动态加载的-模拟人的浏览动作,例如鼠标滚轮滚动一下,显示下一个部分的内容~~~
无头浏览器不会也不知道需要做这些动作,那么也就拿不到实际的html代码喽~~~~
具体页面具体分析,写些脚本模拟下人的浏览动作就好解决问题了,ScraperJS中有响应的调用接口的哈~~~

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号