讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在 Python 中异步执行有序的串行 API 调用(不阻塞循环)

雨瑶吖_3786

雨瑶吖_3786

发布时间:2026-02-04 23:27:10

|

643人浏览过

|

来源于php中文网

原创

如何在 Python 中异步执行有序的串行 API 调用(不阻塞循环)

本文介绍如何在保持发送顺序的前提下,将原本同步阻塞的 `send_to_space()` 调用转为非阻塞异步执行,从而显著提升批量任务吞吐量,同时无需修改原函数、不依赖线程且避免竞态风险。

在实际开发中,我们常遇到这样一类场景:需按严格顺序向外部服务(如 Space API)逐个发送请求,但每个请求本身是 I/O 密集型、耗时数十毫秒,且调用方并不关心响应内容。若直接使用同步循环(for item in items_list: send_to_space(item)),整个流程将被逐次阻塞,总耗时 ≈ N × 单次延迟 —— 这在处理数百项时会明显拖慢整体性能。

此时,asyncio 是最恰当的选择,而非多线程或多进程。原因如下:

  • ✅ send_to_space() 是 I/O 等待型函数(即使当前是同步写法),本质适合异步调度;
  • ✅ asyncio.create_task() 可立即提交协程并返回 Task 对象,不等待其完成,实现“发完即走”;
  • ✅ await 在循环体内逐个 await create_task(...) 保证了逻辑上的严格串行性:前一个请求已发起(非必须完成),才发起下一个,既避免乱序,又消除阻塞;
  • ❌ 多线程(threading.Thread)会引入 GIL 争用与上下文切换开销,且无法天然保障执行/发送顺序;
  • ❌ asyncio.gather() 或 asyncio.as_completed() 会导致并发乱序,违背“必须按列表顺序发送”的硬性要求。

以下是优化后的完整实现:

Json Schema Toolkit
Json Schema Toolkit

使用 JSON Schema 验证 JSON 数据,从示例 JSON 生成 schema,并将其转换为 TypeScript 接口、Python 数据类或 Markdown 文档。

下载
import asyncio

# 假设 send_to_space 是一个同步函数(不可修改),例如:
# def send_to_space(sub_item):
#     requests.post("https://api.space.example", json={"data": sub_item})

# 将其包装为可 await 的协程(推荐方式)
async def send_to_space_async(sub_item):
    loop = asyncio.get_running_loop()
    # 使用 run_in_executor 非阻塞调用同步函数
    await loop.run_in_executor(None, send_to_space, sub_item)

# 主协程:按序发起请求,不等待响应完成
async def send_items(items_list):
    for item in items_list:
        sub_item = item['sub_item']
        # 创建任务并立即继续下一轮 —— 发送动作已启动
        task = asyncio.create_task(send_to_space_async(sub_item))
        # 注意:此处不 await task,否则退化为同步
        # 但我们仍需确保“发起顺序”,所以用 await task 确保前一个已提交再发下一个
        # 更准确地说:await task 保证前一个请求已进入网络栈,符合“顺序发送”语义
        await task

# 入口点
if __name__ == "__main__":
    my_finite_list = [
        {"sub_item": "A"}, {"sub_item": "B"}, {"sub_item": "C"}
    ]
    asyncio.run(send_items(my_finite_list))

⚠️ 关键注意事项:

立即学习“Python免费学习笔记(深入)”;

  • 若 send_to_space() 内部含大量 CPU 计算,建议改用 concurrent.futures.ProcessPoolExecutor 替代 None(默认 ThreadPoolExecutor);
  • await task 并非等待响应返回,而是等待该任务被调度并开始执行(在 run_in_executor 场景下,即等待同步函数被线程池接纳)。这已满足“顺序发出”的约束;
  • 若你 完全不需要任何等待(甚至不关心是否已成功提交),可改用 asyncio.create_task(...) 后不 await —— 但需额外处理异常和生命周期(如 asyncio.all_tasks() 清理),不推荐用于生产级顺序任务;
  • Python ≥ 3.9 支持 asyncio.to_thread()(更简洁替代 run_in_executor),可进一步简化包装逻辑。

总结:对于“顺序 + 非阻塞 + 不改原函数”的需求,asyncio 结合 run_in_executor 是兼具简洁性、可控性与可靠性的标准解法。它让同步代码在异步框架中高效复用,是现代 Python I/O 编程的核心实践之一。

热门AI工具

更多
Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

3638

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1029

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

363

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

519

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

369

2026.02.06

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

193

2026.03.16

Java 多线程与并发编程实战
Java 多线程与并发编程实战

深入讲解 Java 并发编程体系,涵盖 Thread / Runnable / Callable 线程创建方式、线程生命周期与状态转换、synchronized 同步锁与 Lock/ReentrantLock 显式锁、volatile 可见性保证、ThreadPool 线程池配置与调优(核心参数/拒绝策略)、JUC 并发工具类(CountDownLatch/CyclicBarrier/Semaphore/ConcurrentHashMa

309

2026.04.17

C++ 多线程使用教程大全
C++ 多线程使用教程大全

系统讲解 C++11 及后续标准引入的多线程编程能力,涵盖 std::thread 线程创建与生命周期管理、std::mutex / shared_mutex 互斥锁与读写锁、std::condition_variable 条件变量同步、std::atomic 原子操作与内存序(memory_order)、std::future / promise / async 异步任务、线程池的设计与实现、死锁检测与避免策略,帮助开发者编写正确高效

176

2026.04.28

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

0

2026.09.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn