讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

Laper
Laper

剧本策划到成片协作

立刻MV
立刻MV

低成本歌曲 MV、视频生成

AniShort
AniShort

AI短剧协同制作平台

如何正确实现 Python 异步任务的依赖顺序与并发执行

轻强大大_9276

轻强大大_9276

发布时间:2026-01-30 15:46:06

|

867人浏览过

|

来源于php中文网

原创

如何正确实现 Python 异步任务的依赖顺序与并发执行

本文详解如何在 asyncio 中确保子任务(如 `a_task`)在父任务(如 `fetch_values`)完成后立即并发启动,且后续任务(如 `other_task`)严格等待同一批数据的前置任务全部完成,避免因阻塞调用和错误 await 导致的串行化问题。

在 Python 的异步编程中,一个常见误区是混淆同步阻塞与异步挂起——例如使用 time.sleep() 会完全阻塞事件循环,导致所有协程“假并发”;而真正的并发必须依赖 await asyncio.sleep() 或其他 awaitable 对象(如 aiohttp.get()、asyncpg.fetch() 等)。此外,任务依赖关系必须通过 await 显式表达:只有当 fetch_values() 完成并返回结果后,才能基于该结果派生 a_task 和 other_task,且 other_task 必须在同 item 的全部 a_task 结束后才执行。

以下是修正后的完整可运行示例,已修复三大核心问题:

  1. ✅ 将 time.sleep() 替换为 await asyncio.sleep(),释放事件循环控制权;
  2. ✅ 确保 fetch_values() 被 await,使 a_values/other_values 分析基于真实返回数据;
  3. ✅ 将 a_task 的并发执行与 other_task 的串行依赖(按 item 隔离)严格对齐——即每个 item 内部形成 fetch → [a_task × N] → other_task 的原子链,不同 item 之间完全并发。
import asyncio
import pandas as pd


async def execute_check():
    print("execute_check")
    items = [1, 2, 3, 4]
    # 并发启动 4 个独立 item 处理流程
    tasks = [fetch_values_and_process(item) for item in items]
    await asyncio.gather(*tasks)


async def fetch_values_and_process(item):
    print(f"fetch_values_and_process for item {item}")
    values_df = await fetch_values(item)  # ✅ 关键:await 确保数据就绪

    a_values = values_df[values_df["Label"] == "A"]
    other_values = values_df[values_df["Label"] != "A"]

    # 同一 item 的所有 a_task 并发执行
    if not a_values.empty:
        a_tasks = [a_task(row) for _, row in a_values.iterrows()]
        await asyncio.gather(*a_tasks)  # ✅ 所有 a_task 完成后才继续

    # other_task 严格依赖本 item 的全部 a_task 完成
    await other_task(other_values)


async def fetch_values(item):
    print(f"fetch_values for item {item}")
    await asyncio.sleep(5)  # ✅ 非阻塞挂起,允许其他协程运行
    # 为区分 item,使用 item 值填充 DataFrame(原代码逻辑有歧义)
    return pd.DataFrame({"Item": [item] * 4, "Label": ["A", "B", "C", "D"]})


async def a_task(row):
    print(f"a_task for item {row['Item']}, label {row['Label']}")
    await asyncio.sleep(2)


async def other_task(other_values):
    count = len(other_values)
    print(f"other_task processing {count} non-A rows")
    await asyncio.sleep(2)


if __name__ == "__main__":
    asyncio.run(execute_check())

预期输出特征(体现正确并发与依赖):

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载
  • 四组 fetch_values for item X 几乎同时打印(因 asyncio.gather 并发启动);
  • 每组 fetch 完成后,立即并发打印其对应的 a_task(如 item 1 的 a_task 不等待 item 2);
  • 每个 item 的 other_task 仅在其自身 a_task 全部结束后触发;
  • 总耗时约 7 秒左右(最长路径:5s fetch + 2s a_task/other_task 串行),而非原始代码的 ~14s(因 time.sleep 强制串行)。

关键注意事项:

立即学习“Python免费学习笔记(深入)”;

  • ❌ 切勿在协程中使用 time.sleep()、requests.get()、pandas.read_csv() 等同步阻塞操作——它们会冻结整个事件循环;
  • ✅ I/O 密集型操作请改用异步库(如 aiohttp、aiosqlite、asyncpg),CPU 密集型任务应使用 loop.run_in_executor() 脱离事件循环;
  • ✅ asyncio.gather() 是并发执行多个协程的首选,但需确保所有参数均为 awaitable;
  • ? 若需更复杂的依赖图(如跨 item 协调),可考虑 asyncio.Semaphore、asyncio.Event 或 asyncio.Queue 进行同步控制。

掌握“await 显式声明依赖”与“非阻塞 I/O 替代同步调用”这两条原则,即可构建真正高效、可预测的异步数据处理流水线。

热门AI工具

更多
讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

360

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

272

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

871

2026.04.13

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

40

2026.11.06

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

20

2026.11.06

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

20

2026.11.06

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

40

2026.11.05

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

40

2026.11.05

DBeaver连接创建与配置教程
DBeaver连接创建与配置教程

本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。

40

2026.11.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn