博主信息
Laical
博文
11
粉丝
0
评论
0
访问量
2421
积分:0
P豆:108

使用优质代理经常出现的问题

2021年01月07日 16:50:53阅读数:139博客 / Laical

大数据时代,网络爬虫使用http代理时,经常会碰到一些问题,让网络爬虫的工作不是那么的顺畅。不过仔细排查,还是可以找出问题并解决问题的,网络爬虫在使用亿牛云API优质代理时会遇到几个问题。
1、白名单授权
使用代理的用户,开通优质HTTP代理IP后,生成API提取链接后,发现提取不到IP,或者提取IP后全部使用不了。经过沟通了解后,发现了如下问题:
您的IP: 125.69.47.134 没在白名单( 125.69.44.227 222.209.8.0 )中
原因:ip白名单不对,需要添加,注意看看对方服务器IP是不是电信或联通的IP
修改IP白名单太频繁
原因:1、ip白名单不对,需要添加,注意看看对方服务器IP是不是电信或联通的IP,同时注意对方是不是开启了IP自动更新选项,如果对方有多个网络出口,就会导致ip自动更新频繁。
False,没有获取到任何代理,速率超过限制
原因:一条代理API链接只能按照指定时间间隔进行访问,注意程序是不是有多个线程访问或一个服务器下有多个软件运行,超出了代理链接提取速度,请用浏览器访问代理API链接,看看中文提示错误描述。如果服务器每秒请求超过一次,会被判断为DDOS攻击行为,直接黑名单处理,停止该行为一段时间后会自动恢复访问许可。
代理提取之后,代理不能访问或访问失败率很高
原因:提取和使用代理IP的机器是不是都绑定了IP白名单,注意看看对方服务器IP是不是电信或联通的IP;
代理能访问,偶尔出现访问失败或提取失败
原因:注意看看对方服务器IP是不是电信或联通的IP,同时询问对方是不是多个IP白名单的情况下,开启了IP自动更新出现了冲突;对方是否控制了代理IP的使用时间,超出了2-10分钟,导致IP失效。
以上问题答案基本上都能解决白名单授权问题
注意:亿牛云API优质代理提取和使用IP的机器必须在白名单内,方可提取和使用
2、IP有效期
亿牛云动态代理IP都有一个生存周期,从提取出来,到失效,就是代理IP的有效期。亿牛云API优质代理有效期是2-10分钟,一些网络爬虫用户在使用亿牛云代理会出现超时问题,这个问题一般是两种原因造成,1:提取和使用的机器IP没在白名单内。2:没有IP有效时间管理,IP有效时间到期了,还在一直使用,导致出现超时问题。所以在使用爬虫代理的时候一定要控制使用好IP的有效时间,才能更加稳定有效的使用。
网络爬虫在使用爬虫代理的时候回遇到各种问题,避免使用出现障碍,一定要了解清楚问题的解决方案。

全部评论

文明上网理性发言,请遵守新闻评论服务协议

条评论
  • MySQL会中文乱码原因,当我们在使MySQL数据库时候,会碰到乱码,看下面码【mysql> create table test(id int,name varchar(10
    在我查看大型网站码时,会发一个,那就是重复码执行,重复功能应
    thinkphp和laravel缺点是:1、ThinkPHP国内使比较多,点是文档非多,各种解决方案比较多,缺点是码不够规范;2、Laravel是一个PHP开发框架,社区活跃,缺点是比较重
    我们编写js码时遇到复杂逻辑判断情况,通大家可以if或else或者switch来实多个条件判断,但这样会有,随着逻辑复杂度增加,码中if或else或switch会变得臃肿,那么如何更写判断逻辑
    SAP系统是一套企业资源管软件系统,具有化、信息化、智能化势,能够为企业管解决提供参考意见,同时可以为企业发展做系统规划。
    使Spring Session和Redis解决分布式Session跨域共享象阐述,在项目中前后端码未做分离,在两台实例情况下服务正运行偶尔会弹类似需要重新登录提示,后台报错信息这是处器异
    sap系统是一套企业资源管软件系统,具有化、信息化、智能化势,能够为企业管解决提供参考意见,同时可以为企业发展做系统规划;采SAP系统后,与原有传统财务管模式相比,企业财务管机制得到了创新与提升等
    nvm 是一种流行运行 Node.js 方式。 例如,它可以轻松地切换 Node.js 版本,也可以安装新版本以尝试并且当时轻松地回滚。
    当今数字世界,存在着无数网站,每天都需要处各种不同原因访。然而,这些网站中有很大一部分显得笨重,使起来也很麻烦。