讲师中心 微信公众号
AI工具推荐 视频效率加速

Python httpx 如何实现“连接失败自动换代理”

星晨姑娘_9445

星晨姑娘_9445

发布时间:2026-01-17 21:52:58

|

652人浏览过

|

来源于php中文网

原创

httpx需手动实现代理轮换与失败重试:准备合法代理列表,捕获ConnectError/TimeoutException等异常,配合指数退避与最大重试次数切换代理;异步版本逻辑相同,需用async/await;进阶可缓存代理健康状态并动态剔除失效代理。

python httpx 如何实现“连接失败自动换代理”

httpx 本身不内置代理轮换或失败重试逻辑,但可以通过封装请求、捕获异常、配合代理池实现“连接失败自动换代理”。关键在于:手动管理代理列表、捕获 httpx.ConnectError / httpx.TimeoutException 等网络异常,并在失败后切换下一个可用代理重新发起请求。

准备可用代理列表

确保你有一组格式合法、可验证的 HTTP/SOCKS 代理(如 "http://user:pass@host:port""socks5://host:port")。建议预先清洗或通过简单 HEAD 请求验证部分代理可用性,避免全量盲试。

  • 代理格式必须与 httpx 的 proxies 参数兼容(支持 http://https://socks5://
  • 若用认证代理,URL 中需包含用户名密码(httpx 0.24+ 支持,旧版需额外配置 auth
  • 可将代理存为 list,用 itertools.cycle 或索引轮询,避免重复使用失效代理

封装带代理切换的请求函数

核心是 try-except 捕获连接类异常,在失败时更新当前代理并重试。推荐使用指数退避 + 最大重试次数防止死循环:

python全能编程助手
python全能编程助手

SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能,主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的 双功能合体技能 ,专为学生、算法学习者和开发者设计;✅ 一个技能,两种用途 :;核心要点📝 题解模式 :输入题目/题号,自动生成完整 Python 题解(含详细注释、解题思路、复杂度分析);💬 注释模式 :输入 Python 代码,自动添加详细中。它将相关步骤、

下载
<font color="#888">import httpx
import time
from itertools import cycle
<p>proxies = [
"<a href="https://www.php.cn/link/dfcfbb196720bb3febac626b8b9d082d">https://www.php.cn/link/dfcfbb196720bb3febac626b8b9d082d</a>",
"<a href="https://www.php.cn/link/07f2d8dbef3b2aeca9cb258091bc3dba">https://www.php.cn/link/07f2d8dbef3b2aeca9cb258091bc3dba</a>",
"socks5://proxy3:1080"
]</p><p>proxy_cycle = cycle(proxies)
client = httpx.Client(timeout=10.0)</p><p>def request_with_failover(url, max_retries=3):
last_exc = None
for i in range(max_retries):
proxy = next(proxy_cycle)
try:
r = client.get(url, proxies={"http://": proxy, "https://": proxy})
r.raise_for_status()
return r
except (httpx.ConnectError, httpx.TimeoutException, httpx.ReadError) as e:
last_exc = e
if i < max_retries - 1:
time.sleep(0.5 * (2 ** i))  # 指数退避
raise last_exc</font>

使用异步 client(httpx.AsyncClient)时的等效写法

异步版本逻辑一致,只需用 async/await 和捕获对应异常(注意 httpx.ConnectTimeouthttpx.ReadTimeout 等更细粒度异常):

立即学习Python免费学习笔记(深入)”;

<font color="#888">import asyncio
import httpx
<p>async def async_request_with_failover(url, proxies, max_retries=3):
for i in range(max_retries):
proxy = proxies[i % len(proxies)]
try:
async with httpx.AsyncClient(proxies={"http://": proxy, "https://": proxy}, timeout=10.0) as client:
r = await client.get(url)
r.raise_for_status()
return r
except (httpx.ConnectError, httpx.TimeoutException) as e:
if i == max_retries - 1:
raise e
await asyncio.sleep(0.5 * (2 ** i))
raise RuntimeError("All proxies failed")</font>

进阶建议:代理健康状态缓存与动态剔除

真实场景中,不应每次失败都轮到下一个——而应标记已知失效代理,跳过它们,提升成功率:

  • 维护一个 set 记录近期失败的代理(例如 5 分钟内失败 ≥2 次则暂禁)
  • 成功响应后,可将该代理权重提高或提前放回可用队列
  • 结合 httpx.Limits 控制并发连接数,避免单个代理被压垮
  • 对返回状态码(如 407 Proxy Auth Required、429 Too Many Requests)做特殊处理,而非一律当连接失败

热门AI工具

更多
音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

相关专题

更多
http500解决方法
http500解决方法

http500解决方法有检查服务器日志、检查代码错误、检查服务器配置、检查文件和目录权限、检查资源不足、更新软件版本、重启服务器或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2883

2023.11.09

http请求415错误怎么解决
http请求415错误怎么解决

解决方法:1、检查请求头中的Content-Type;2、检查请求体中的数据格式;3、使用适当的编码格式;4、使用适当的请求方法;5、检查服务器端的支持情况。更多http请求415错误怎么解决的相关内容,可以阅读下面的文章。

794

2023.11.14

HTTP 503错误解决方法
HTTP 503错误解决方法

HTTP 503错误表示服务器暂时无法处理请求。想了解更多http错误代码的相关内容,可以阅读本专题下面的文章。

6086

2024.03.12

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

5230

2024.08.16

Go 语言 HTTP 编程与中间件开发教程合集
Go 语言 HTTP 编程与中间件开发教程合集

全面讲解 Go 语言 HTTP 编程的核心知识,涵盖 net/http 标准库的 Server/Handler/HandlerFunc 体系、DefaultServeMux 路由注册与自定义路由器、Request / ResponseWriter 请求响应处理、中间件(Middleware)链式设计模式与常见中间件(日志/CORS/认证/限流)开发、http.Client 的超时配置与连接池管理、Cookie / Session 处理、

381

2026.05.08

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

5230

2024.08.16

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

20

2026.09.23

Buffalo框架路由与请求处理实操指南
Buffalo框架路由与请求处理实操指南

本专题讲解Buffalo框架路由与请求处理机制,涵盖路由注册与分组、资源路由、Handler编写规范、Context上下文方法、参数绑定、中间件编写挂载、Session与Cookie读写、Flash消息及错误页面定制方法。

0

2026.09.23

Buffalo框架零基础入门教程
Buffalo框架零基础入门教程

本专题整理Buffalo框架入门内容,涵盖Go环境准备、buffalo CLI安装、新项目生成、目录结构说明、dev热加载启动、数据库连接配置与常见报错排查,帮助新手按约定优于配置的思路跑通第一个Buffalo框架应用。

0

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn