讲师中心 微信公众号

工具推荐

视频效率加速
Seko
Seko

AI短剧一键生成成片

updream

一键生成高质量推广成片

剧云
剧云

中文短剧剧本制作平台

AniShort
AniShort

AI短剧协同制作平台

Python aiohttp 异步请求的实践指南

酷静吖_2026

酷静吖_2026

发布时间:2026-01-30 16:15:13

|

651人浏览过

|

来源于php中文网

原创

aiohttp.ClientSession 必须复用,因新建会重复初始化连接池、SSL 上下文并绑定事件循环,导致开销大、RuntimeError、连接泄漏及文件描述符耗尽;应全局单例创建,用 async with 包裹单次请求。

python aiohttp 异步请求的实践指南

为什么 aiohttp.ClientSession 必须复用,不能每次请求都新建

因为新建 ClientSession 会重新初始化连接池、SSL 上下文和事件循环绑定,不仅开销大,还会导致 RuntimeError: Session is closed 或连接泄漏。尤其在高并发场景下,频繁创建销毁 session 容易触发文件描述符耗尽(OSError: [Errno 24] Too many open files)。

实操建议:

立即学习“Python免费学习笔记(深入)”;

Expanso yaml-to-json
Expanso yaml-to-json

使用 Expanso Edge 管道将 YAML 输入转换为 JSON 格式。

下载
  • 全局或作用域内只创建一次 ClientSession,用 async with 仅包裹单次请求逻辑,不是整个 session 生命周期
  • 若需定制超时或 headers,统一在 session 初始化时传入 timeout 和 headers 参数,而非每个 session.get() 都重复指定
  • 在 Web 应用(如 FastAPI)中,通过 lifespan hook 或依赖注入管理 session 生命周期,避免在路由函数里现场 new

aiohttp 中如何正确处理 JSON 响应和编码问题

直接调用 response.json() 看似方便,但默认不校验 Content-Type,且对非 UTF-8 编码(如 GBK、ISO-8859-1)会抛 UnicodeDecodeError。更隐蔽的问题是:某些 API 返回 text/plain 但内容实为 JSON 字符串,此时 .json() 会静默失败或解析出错。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 优先用 await response.text(encoding="utf-8") 拿原始字符串,再用 json.loads() 显式解析,便于捕获和调试格式错误
  • 若响应头含 charset=gbk,必须显式传 encoding:await response.text(encoding="gbk"),不能依赖自动探测
  • 对不确定 content-type 的接口,先打印 response.content_type 和 response.charset 调试,再决定解析路径

并发请求控制:用 asyncio.Semaphore 还是 aiohttp.TCPConnector 的 limit

两者都管并发,但作用层级不同:TCPConnector(limit=10) 控制的是底层 TCP 连接数上限,影响复用和端口占用;Semaphore 控制的是协程并发数,影响任务调度节奏。混用时若配置冲突(比如 semaphore=5 但 connector.limit=100),实际并发仍受更严的那个限制。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 优先用 TCPConnector(limit=20, limit_per_host=5) —— 它能真正防止对单个 host 建连风暴,比纯协程限流更贴近网络层实际压力
  • 需要业务级节流(如每秒最多调 3 次某 API)时,才叠加 Semaphore,且注意把它定义在 session 外部,避免每次请求都 new 一个新实例
  • 不要设 limit=0(无限制),Linux 默认单进程最大 socket 数约 1024,超出会报 OSError: [Errno 24]

异常捕获必须覆盖的三个关键点

aiohttp 的异常分散在多个层级:DNS 解析失败(aiohttp.ClientConnectorError)、连接超时(asyncio.TimeoutError)、HTTP 状态码非 2xx(response.raise_for_status() 抛 aiohttp.ClientResponseError)。漏掉任意一类,都会让程序意外中断。

实操建议:

立即学习“Python免费学习笔记(深入)”;

  • 外层用 try/except (aiohttp.ClientError, asyncio.TimeoutError) as e: 捕获网络层异常
  • 内层对每个 response 显式调用 response.raise_for_status(),否则 404、502 等状态码不会抛异常,容易误判为成功
  • 记录异常时务必包含 str(e) 和 response.url if "response" in locals() else None,否则排查时不知道失败发生在哪个 URL
实际项目里最常被忽略的是 connector 复用和 charset 显式声明——前者导致压测时连接数飙升,后者让中文字段突然变成乱码且难以复现。这两处不改,其他优化意义不大。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2295

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3742

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1236

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

4339

2025.09.10

Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

119

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

574

2026.02.06

Python Web框架FastAPI 全栈开发教程合集
Python Web框架FastAPI 全栈开发教程合集

以 FastAPI 为核心,讲解现代 Python Web API 的高效开发方式,涵盖路由定义与路径参数/查询参数/请求体绑定、Pydantic 模型的数据校验与序列化、依赖注入(Depends)系统的分层设计、中间件与 CORS 配置、OAuth2 + JWT 认证流程、后台任务(BackgroundTasks)、WebSocket 实时通信、SQLAlchemy 异步 ORM 集成、自动生成 OpenAPI/Swagger 交互文

736

2026.05.09

Python FastAPI异步微服务与高性能接口设计
Python FastAPI异步微服务与高性能接口设计

本专题聚焦 Python FastAPI 框架在高性能接口与微服务开发中的应用,讲解异步请求处理、依赖注入机制、路由设计、数据库异步操作以及接口性能优化策略。结合实际项目案例,帮助开发者构建高并发、低延迟的现代化后端服务架构。

619

2026.06.16

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

40

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn