讲师中心 微信公众号
AI工具推荐 视频效率加速

Python aiohttp 异步网络请求实践

冬萱姑娘_6646

冬萱姑娘_6646

发布时间:2026-02-22 09:50:03

|

734人浏览过

|

来源于php中文网

原创

必须用 async with aiohttp.ClientSession() 管理会话生命周期,显式设置 timeout 防止协程挂起,POST JSON 用 json= 参数而非 data+headers,限制并发数避免连接耗尽或 429 错误。

python aiohttp 异步网络请求实践

async with aiohttp.ClientSession() 必须用,不能只写 await session.get()

直接 await session.get("https://example.com") 会报 RuntimeError: Session is closed —— 因为 aiohttp.ClientSession 不是“即用即弃”的工具,它管理连接池、Cookie、DNS 缓存等资源,必须用 async with 确保正确生命周期。不用上下文管理器,连接可能泄漏,短时间高频请求后出现 Too many open files 或连接超时。

  • 错误写法:session = aiohttp.ClientSession(); await session.get(...); await session.close()(手动 close 容易遗漏或抛异常中断)
  • 正确写法:async with aiohttp.ClientSession() as session: await session.get(...)
  • 如果要复用 session(比如多个请求),把它作为参数传入协程,或放在类实例中,但别在函数里反复创建/关闭

timeout 参数不设就等于没设,aiohttp 默认不超时

aiohttp 的 ClientTimeout 默认是 None,意味着 DNS 查询、TCP 握手、TLS 握手、首字节等待、整个响应读取……全都不设限。线上服务一旦上游卡住,你的协程就永远挂起,拖垮整个 asyncio event loop。

  • 必须显式配置:timeout=aiohttp.ClientTimeout(total=10, connect=3, sock_read=5)
  • total 是总上限,其他子项不能超过它;connect 控制建连阶段(含 DNS),sock_read 控制从 socket 读响应体的时间
  • 注意:如果用 raise_for_status=True,HTTP 4xx/5xx 错误仍会抛异常,但超时是独立机制,二者不冲突

POST 发 JSON 数据,别手动 json.dumps + headers,用 json= 参数

写 session.post(url, data=json.dumps({...}), headers={"Content-Type": "application/json"}) 看似没问题,实则埋雷:手动序列化可能忽略 ensure_ascii=False 导致中文乱码;headers 写错大小写或漏掉 charset;更严重的是,data= 会绕过 aiohttp 对 JSON 的自动编码和 content-type 设置逻辑,某些服务器(尤其 FastAPI/Starlette)会拒绝解析。

python学习
python学习

Python 编程学习助手 skill,面向零基础用户。 当用户表达以下意图时触发: - 学习 Python 基础概念(变量、数据类型、循环、函数、类等) - 请求 Python 练习题或测验 - 请求审查或调试 Python 代码 - 请求 Python 项目实战指导(爬虫、数据分析、Web 开发等入门项目) - 泛化表述如"教我 Python""我想学编程""Python 怎么写""帮我学 Python" 此 skill

下载
  • 正确做法:await session.post(url, json={"key": "中文值"}) —— aiohttp 自动处理编码、header、content-type
  • 如果需要控制 JSON 序列化选项(如 default 函数),得自己构造 json.dumps(...),但此时必须配 data= + 手动 header,且确保 Content-Type 是 application/json; charset=utf-8
  • json= 和 data= 互斥,同时传会报 ValueError

并发请求数量失控导致 ConnectionRefusedError 或 429

asyncio.gather(*[session.get(...) for _ in range(1000)]) 看起来高效,实际会让 aiohttp 在默认配置下瞬间发起上千 TCP 连接,远超系统文件描述符限制或目标服务器承受能力,结果不是本地报 [Errno 24] Too many open files,就是对方返回 429 Too Many Requests 或直接 ConnectionRefusedError。

立即学习“Python免费学习笔记(深入)”;

  • 限制并发数:用 asyncio.Semaphore(10) 包裹请求逻辑,确保最多 10 个并发
  • ClientSession 默认启用连接池(connector=aiohttp.TCPConnector(limit=100, limit_per_host=30)),但这个 limit 是“最大空闲连接数”,不是并发请求数,别混淆
  • 对同一 host 大量请求,建议调高 limit_per_host,否则可能因连接复用不足反复建连
aiohttp 的异步行为高度依赖底层 connector 和 event loop 配置,真正上线前一定要压测并观察连接状态(netstat -an | grep :443 | wc -l)、timeouts 日志、以及是否出现 Unclosed client session 警告。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2175

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3422

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1136

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

3919

2025.09.10

Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

119

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

554

2026.02.06

Python Web框架FastAPI 全栈开发教程合集
Python Web框架FastAPI 全栈开发教程合集

以 FastAPI 为核心,讲解现代 Python Web API 的高效开发方式,涵盖路由定义与路径参数/查询参数/请求体绑定、Pydantic 模型的数据校验与序列化、依赖注入(Depends)系统的分层设计、中间件与 CORS 配置、OAuth2 + JWT 认证流程、后台任务(BackgroundTasks)、WebSocket 实时通信、SQLAlchemy 异步 ORM 集成、自动生成 OpenAPI/Swagger 交互文

636

2026.05.09

Python FastAPI异步微服务与高性能接口设计
Python FastAPI异步微服务与高性能接口设计

本专题聚焦 Python FastAPI 框架在高性能接口与微服务开发中的应用,讲解异步请求处理、依赖注入机制、路由设计、数据库异步操作以及接口性能优化策略。结合实际项目案例,帮助开发者构建高并发、低延迟的现代化后端服务架构。

539

2026.06.16

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

60

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn