java - QQ空间爬虫总是被封号

Question

抓取QQ空间说说但是 总是被封号 可以给提出一些解决方案吗？如何既可以快速 又可以不封号！谢谢啦！

代码在github上地址
https://github.com/20100507/Q...

Answer 1

反爬虫策略：

<code>1、识别请求头，判断是否是爬虫
2、记录请求频率、路径和访问ip，判断是否是爬虫
3、请求参数中进行加密或复杂加密，增加爬虫开发的难度（如淘宝的ua算法）
4、复杂验证码
</code>

应对反爬虫策略：

<code>1、在爬取过程中，适当切换代理ip
2、适当降低请求频率
3、请求头模拟成浏览器的请求，也就是用户正常访问的请求

</code>

你的问题，主要可以通过定时切换ip，或一旦被封再切换ip，来解决，可以考虑去“站大爷”等代理ip网站付费获取，或者去多用几个电信账号，用ASDL拨号来切换ip。