博主信息
Laical
博文
11
粉丝
0
评论
0
访问量
2419
积分:0
P豆:108

HTTP代理无法使用解决方案

2021年01月11日 17:15:58阅读数:165博客 / Laical

网络爬虫想代理商购买HTTP代理后。通过API提取了代理IP后,会遇到无法使用代理IP这种情况。有可能是以下几点原因造成的。
1、白名单授权
购买的亿牛云优质代理IP,使用和提取的机器IP必须在白名单内,否则无法使用。使用的机器也必须在白名单内IP,否则提取出来也无法使用,会出现超时等情况。
2、网站反爬
由于网站的反爬机制,提取和使用的机器如果都在白名单内,去访问网站还是无法使用,说明网站限制了爬虫或者封IP了。这时候就要注意HTTP的状态码。建议可以使用测试代理的网站进行测试代理。
3、IP有效时间过期
取和使用的机器如果都在白名单内,如果提取出来不及使用,导致IP有效时间到期了,还是会出现IP无法使用,IP超时等问题。
4、代理提取失败或提取之后大量代理访问失败
由于私密家庭代理提取和使用都需要绑定IP白名单,因此必须确保提取和使用代理的服务器,其IP白名单都添加到后台;同时由于移动、手机热点、铁通、鹏博士、长宽是互联网多出口动态分配特性,导致出口IP随机变化,也会出现代理提取失败或访问失败,需要具备电信、联通、各类云服务器或固定IP等网络。
5、代理IP请求失败
首先统计下HTTP状态码,如果大量429,需控制每个代理IP的请求数(使用线程)。每条线路是多个用户共享的,每条线路运营商都有上限,自动运维系统会做IP失效检测,发现IP阻塞就会返回429避免IP失效。

全部评论

文明上网理性发言,请遵守新闻评论服务协议

条评论
  • 下面由宝塔面板教程栏目给大家介绍面板功能正常使/访问/异常的,希望对需要的朋友有所帮助!
    下面由WordPress教程栏目给大家介绍WordPress 使the_content()输出内容的,希望对需要的朋友有所帮助!
    golang析json的使HTTP请求Json响应析,码为【url := "http://api.open-notify.org/astros.json" spaceClient
    哨兵主要针对单节点故障自动恢复的,集群主要针对单节点容量、并发问题、线性可扩展性的。本文使提供的redis cluster。
    PHP接收GET中文参数乱码的:1、使iconv函数,码为【$str = iconv("gb2312","utf-8",$str)】;2、使函数【encoding
    php高并发有:1、使文件锁;2、使消息队列;3、如果是分布式集群服务器,需要一个或多个队列服务器;4、使Memcache锁
    Vuex 是来处状态管的高性能使大型 Vue.js 变得更轻松,并通过暴露出来的 store 使得状态变得可预测。

    2020-06-28

    817

    JWT是目前流行的跨域认证,其原是将户信息通过加密生成Token,每次请求服务端只需要使保存的密钥验证Token的正确性,进而不再保存任何Session数据,使服务端变得状态。
    单行码极难维护(有时甚至很难),但这都阻止它们非常酷。完成编写一个极简后,你一定会很满足的。 这有一些我最近心爱的收藏。它们都可以直接在你的开放控制台中运行,来试试吧。
    针对 Laravel 应的优化远远不止消除 N+1 问题那么简单。合使 Laravel DebugBar 可以对模型内存的使以及 SQL 查询时效等问题给出合
    是指的准确而完整的描述,是一系列问题的清晰指令,算表着系统的描述问题的策略机制。
    字符串管zend_string任何程序都需要管字符串,在这里,我们将详细介绍适合PHP需求的自定义:zend_string,每次 PHP需要使字符串时,都会使zend_string结构。
    thinkphp和laravel的优缺点是:1、ThinkPHP国内使比较多,优点是文档非常多,各种问题比较多,缺点是码不够规范;2、Laravel是一个现化的PHP开发框架,社区活跃,缺点是比较重
    前端性能优化:1、减少http请求数;2、图片优化;3、使CDN;4、开启GZIP;5、样式表和JS文件的优化;6、使cookie域名;7、前端码结构的优化。
    0x000000A5蓝屏码的:1、禁“停止”消息中标识的驱动程序或所有新近安装的驱动程序;2、如果计算机正常启动,应尝试以“最后一次的正确配置”或“安全模式”启动,然后删除新近添加的程序即可
    WPS连接到服务器的:首先检查网络是否连接上,并检查是否开启了VPN或者网络;然后使Safari登录“account.wps.cn”,看是否可以正常登录;最后使手机热点,给电脑连接,
    golang导包的:1、直接根据【$GOPATH/src】目录导入import 【test/lib】;2、别名导入,码为【import a_name "test"】;3
    一般我们都在一种简单的:“临时变量”。不过还有更好的办,而且不只有一个,有很多。有时我们在网上搜寻,找到后复制粘贴,但是从没想过这小段码是怎样工作的。
    php捕获异常的:首先使函数【try,catch】输出异常完整信息;然后定义异常,码为【catch(FileExistException $e)】;最后重抛异常给上层,码为【catch
    vscode使ng命令的:首先右键左下角开始按钮选择【Windows PowerShell(管员)(A)】;然后执行【set-ExecutionPolicy RemoteSigned】命令