讲师中心 微信公众号
AI工具推荐 视频效率加速

Python并发请求接口方案_多线程与协程对比【指导】

风敏君_6499

风敏君_6499

发布时间:2025-12-25 21:51:08

|

303人浏览过

|

来源于php中文网

原创

应优先选用 asyncio + httpx 协程方案,因其连接池自动适配协程调度、无锁开销、吞吐高;若含大量同步阻塞或 CPU 密集操作,则选多线程并需为每个线程配置独立 Session 和线程安全连接池。

python并发请求接口方案_多线程与协程对比【指导】

requests + threading 为什么经常卡死或报错

直接用 requests 配合 threading.Thread 发并发请求,大概率会遇到连接池耗尽、Max retries exceededConnectionResetError。根本原因是 requests 底层的 urllib3.PoolManager 默认只维护有限连接(通常 10 个),多线程争抢同一连接池,又没做线程安全配置。

实操建议:

  • 必须显式创建带足够 maxsize 和线程安全配置的 PoolManager,并绑定到每个 Session
  • 每个线程应持有独立的 requests.Session() 实例,避免共享状态
  • threading.Semaphore 控制并发数,别盲目开几百个线程
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

def make_session():
    session = requests.Session()
    retry = Retry(total=2, backoff_factor=0.3)
    adapter = HTTPAdapter(
        pool_connections=50,
        pool_maxsize=50,
        max_retries=retry
    )
    session.mount("http://", adapter)
    session.mount("https://", adapter)
    return session

asyncio + httpx 是目前最稳的协程方案

httpx.AsyncClient 原生支持 asyncio,连接池自动适配协程调度,没有线程锁开销,内存占用低,吞吐高。相比 aiohttphttpx API 更接近 requests,迁移成本小,还支持 HTTP/2 和同步/异步混用。

常见错误现象:

立即学习Python免费学习笔记(深入)”;

  • 忘记 await client.get(...),直接调用返回 coroutine 对象,后续报 TypeError: object is not async
  • 在非 async 函数里调用 asyncio.run() 多次,导致 event loop 已关闭
  • 没限制并发数,asyncio.gather(*tasks) 一次性扔几千个请求,触发服务端限流或本地文件描述符耗尽
import asyncio
import httpx

async def fetch(client, url):
    try:
        r = await client.get(url, timeout=5.0)
        return r.status_code, r.text[:100]
    except Exception as e:
        return -1, str(e)

async def main():
    async with httpx.AsyncClient() as client:
        tasks = [fetch(client, "https://httpbin.org/delay/1") for _ in range(50)]
        results = await asyncio.gather(*tasks, return_exceptions=True)
    return results

什么时候该选多线程,而不是协程

不是所有 IO 场景都适合协程。当你的“请求逻辑”里混杂了大量同步阻塞操作(比如本地文件解析、CPU 密集型处理、调用不支持 async 的第三方库),强行塞进 async def 反而降低性能,甚至引发死锁。

Ai Coach Batch Session Summary
Ai Coach Batch Session Summary

批量分析录音转写,输出多维度拓客报告。触发词:录音分析、总结、音频总结、拜访记录总结。当用户提及「分析录音」「看看录音数据」「最近的录音」「通话记录」且意图为批量统计/分析时触发。仅出现「录音」或「拜访」时需结合上下文,若仅查看单条详情则不触发。

下载

适用多线程的真实场景:

  • 接口响应快(
  • 调用的是封装在 .so/.dll 里的闭源 SDK,它内部是阻塞式网络+计算
  • 已有成熟线程安全的缓存模块(如 threading.local + redis 连接),改造成 async 成本过高

此时用 concurrent.futures.ThreadPoolExecutor + loop.run_in_executor 混合调度更实际。

超时、重试、限流必须按层配置

并发下,单点超时不等于全局可控。网络超时、连接超时、读取超时、重试策略、客户端限流、服务端限流,这五层必须分开看、分别设。

关键参数对照:

  • requests:用 timeout=(connect_timeout, read_timeout),别只写一个数字
  • httpxtimeout=httpx.Timeout(5.0, connect=3.0, read=5.0),支持细粒度控制
  • 重试:urllib3.Retryhttpx.Limit 配合 AsyncClientevent_hooks
  • 客户端限流:用 asyncio.Semaphore(n) 包裹请求逻辑,比靠服务端 429 更可靠

最容易被忽略的是 DNS 解析超时 —— 它不包含在 connect 超时里,httpx 需额外设 httpx.Limitsmax_keepalive_connectionsrequests 则依赖系统 resolver 行为。

热门AI工具

更多
二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
session失效的原因
session失效的原因

session失效的原因有会话超时、会话数量限制、会话完整性检查、服务器重启、浏览器或设备问题等等。详细介绍:1、会话超时:服务器为Session设置了一个默认的超时时间,当用户在一段时间内没有与服务器交互时,Session将自动失效;2、会话数量限制:服务器为每个用户的Session数量设置了一个限制,当用户创建的Session数量超过这个限制时,最新的会覆盖最早的等等。

580

2023.10.17

session失效解决方法
session失效解决方法

session失效通常是由于 session 的生存时间过期或者服务器关闭导致的。其解决办法:1、延长session的生存时间;2、使用持久化存储;3、使用cookie;4、异步更新session;5、使用会话管理中间件。

856

2023.10.18

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

1726

2025.08.19

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

3028

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

4229

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3649

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

366

2026.01.19

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

3458

2023.08.10

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

0

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn