博主信息
Laical
博文
34
粉丝
0
评论
0
访问量
14639
积分:0
P豆:80

浏览器和爬虫程序设置代理IP的区别

2020年11月20日 17:12:37阅读数:62博客 / Laical/ 网络爬虫教程

360浏览器设置代理IP方案:
1、打开浏览器点开代理服务器设置
2、在代理服务器列表中,添加获取的代理IP
3、添加代理后,可在代理菜单中选择使用哪个代理


爬虫程序设置代理IP的方案:
这里以常见的python爬虫举例:

  1. #! -*- encoding:utf-8 -*-
  2. import base64
  3. import sys
  4. import random
  5. PY3 = sys.version_info[0] >= 3
  6. def base64ify(bytes_or_str):
  7. if PY3 and isinstance(bytes_or_str, str):
  8. input_bytes = bytes_or_str.encode('utf8')
  9. else:
  10. input_bytes = bytes_or_str
  11. output_bytes = base64.urlsafe_b64encode(input_bytes)
  12. if PY3:
  13. return output_bytes.decode('ascii')
  14. else:
  15. return output_bytes
  16. class ProxyMiddleware(object):
  17. def process_request(self, request, spider):
  18. # 代理服务器(产品官网 www.16yun.cn)
  19. proxyHost = "t.16yun.cn"
  20. proxyPort = "31111"
  21. # 代理验证信息
  22. proxyUser = "username"
  23. proxyPass = "password"
  24. request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)
  25. # 添加验证头
  26. encoded_user_pass = base64ify(proxyUser + ":" + proxyPass)
  27. request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass
  28. # 设置IP切换头(根据需求)
  29. tunnel = random.randint(1,10000)
  30. request.headers['Proxy-Tunnel'] = str(tunnel)

其实浏览器设置代理和爬虫程序这是代理IP最大的区别就在于,一个只适合于爬虫业务量小,浏览器配置代理只是偶尔访问。爬虫程序配置代理IP适用于想要快速稳定大量采集爬虫数据,适用于公司企业爬虫业务。

全部评论

文明上网理性发言,请遵守新闻评论服务协议

条评论