讲师中心 微信公众号
AI工具推荐 视频效率加速

Python asyncio 与 threading 的协作方式

大静大大_1010

大静大大_1010

发布时间:2026-02-19 16:54:11

|

679人浏览过

|

来源于php中文网

原创

asyncio 与 threading 协作需用 run_in_executor 执行阻塞操作、run_coroutine_threadsafe 跨线程调度协程、threading.Lock 保障共享状态安全,并避免跨线程访问事件循环。

python asyncio 与 threading 的协作方式

当需要在 Python 异步程序中调用阻塞型 I/O 或 CPU 密集型函数时,直接在 asyncio 事件循环中执行会导致整个协程挂起。以下是实现 asyncio 与 threading 协作的具体方式:

一、使用 loop.run_in_executor 启动线程

asyncio 事件循环提供 run_in_executor 方法,可将阻塞操作提交至线程池(默认 ThreadPoolExecutor)异步执行,避免阻塞主事件循环。该方法返回一个 awaitable 对象,可在协程中等待其完成。

1、导入必要模块:import asyncio, time, concurrent.futures

2、定义阻塞函数:def blocking_io(): time.sleep(2); return "done"

立即学习“Python免费学习笔记(深入)”;

3、在协程中调用:result = await loop.run_in_executor(None, blocking_io)

4、注意:若未显式传入 executor,默认使用全局线程池,不可在 executor 中直接操作 asyncio 的事件循环或协程对象

二、手动创建并管理线程池

通过显式构造 concurrent.futures.ThreadPoolExecutor 实例,可控制线程数量、生命周期及资源复用,适用于需精细调度的场景。

1、创建固定大小线程池:executor = concurrent.futures.ThreadPoolExecutor(max_workers=4)

2、在协程中提交任务:result = await loop.run_in_executor(executor, blocking_io)

3、任务完成后关闭线程池:executor.shutdown(wait=True)

4、必须确保 shutdown 在所有 await 调用结束后执行,否则可能引发 RuntimeError

三、在线程中安全调用 asyncio.run_coroutine_threadsafe

当已有活跃的 asyncio 事件循环运行于主线程,而其他线程需触发协程执行时,应使用 run_coroutine_threadsafe 函数。它将协程调度到指定事件循环,并返回 concurrent.futures.Future 对象。

1、获取当前事件循环引用:loop = asyncio.get_running_loop()

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载

2、在子线程中调用:future = asyncio.run_coroutine_threadsafe(coroutine_func(), loop)

3、获取结果:result = future.result(timeout=5)

4、该函数仅适用于已启动且未关闭的事件循环,不可用于已停止或未启动的循环

四、共享状态时的线程安全处理

asyncio 协程与线程共存时,对共享变量(如字典、列表)的读写需防止竞态条件。asyncio 提供的同步原语不适用于跨线程场景,须改用 threading 模块提供的锁机制。

1、初始化线程安全对象:shared_data = {}; lock = threading.Lock()

2、在线程中写入前加锁:with lock: shared_data["key"] = value

3、在协程中读取时同样加锁:with lock: val = shared_data.get("key")

4、不可混用 asyncio.Lock 与 threading.Lock,二者作用域和实现机制完全不同

五、避免事件循环嵌套与跨线程访问

asyncio 事件循环是线程绑定的,每个线程最多只能有一个运行中的事件循环。尝试在非创建线程中调用 loop.run_until_complete 或访问 loop.is_running() 将导致异常。

1、检查当前线程是否已有运行中循环:try: asyncio.get_running_loop() except RuntimeError: pass

2、若需在新线程启动循环,必须显式调用 asyncio.new_event_loop() 和 loop.run_forever()

3、禁止将主线程 loop 对象传递至子线程后直接调用 run_until_complete

4、loop.create_task() 只能在创建该 loop 的线程中调用,否则抛出 RuntimeError

热门AI工具

更多
音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4658

2023.08.10

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

0

2026.11.05

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

0

2026.11.05

DBeaver连接创建与配置教程
DBeaver连接创建与配置教程

本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。

0

2026.11.04

XORM框架结构体映射与表结构同步
XORM框架结构体映射与表结构同步

本专题围绕XORM框架的结构体映射展开,说明表名与字段的命名策略、xorm标签常用属性、主键自增与时间字段自动填充,并演示Sync2自动建表、增量字段升级、索引声明与反向生成结构体的完整流程。

0

2026.11.04

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

0

2026.11.04

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

0

2026.11.04

XORM框架安装配置与数据库连接
XORM框架安装配置与数据库连接

本专题聚焦XORM框架的配置与连接环节,拆解MySQL、PostgreSQL、SQLite、SQL Server的DSN写法与驱动选择,讲清连接池参数、多数据源拆分、读写分离与超时重连的处理方式,并补充容器与兼容数据库的适配经验。

0

2026.11.04

XORM框架零基础入门教程
XORM框架零基础入门教程

本专题梳理XORM框架的入门路径,从框架定位、依赖安装、连接数据库到跑通第一个增删改查示例,讲清Engine初始化、日志开启与项目目录规划,并对比GORM等同类ORM的差异,帮助Go开发者建立整体认知。

0

2026.11.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn