讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

Laper
Laper

剧本策划到成片协作

剧云
剧云

中文短剧剧本制作平台

AniShort
AniShort

AI短剧协同制作平台

如何在 concurrent.futures 中保持线程完成顺序与进度输出同步

落敏大大_4004

落敏大大_4004

发布时间:2026-11-21 15:35:02

|

433人浏览过

|

来源于php中文网

原创

如何在 concurrent.futures 中保持线程完成顺序与进度输出同步

当使用 as_completed() 处理多线程任务时,print() 输出可能因 I/O 缓冲和线程执行时间差异而乱序;关键在于强制刷新输出流,并避免阻塞操作干扰主线程的“完成感知”逻辑。

当使用 `concurrent.futures` 处理多线程任务时,`print()` 输出可能因 i/o 缓冲和线程执行时间差异而乱序;关键在于强制刷新输出流,并避免阻塞操作干扰主线程的“完成感知”逻辑。

在使用 concurrent.futures.ThreadPoolExecutor 时,concurrent.futures.as_completed() 的设计本意是按任务实际完成顺序返回结果,而非提交顺序。这本身是正确且高效的行为。但问题中的“进度条跳变”(如从 30% 瞬间跳到 100%)并非 as_completed 的缺陷,而是由两个常见因素共同导致的:

  1. 标准输出(print)默认缓冲:在非交互式环境(如脚本运行)中,print() 输出会暂存于缓冲区,直到换行或缓冲满才刷出,造成视觉上的“延迟刷新”;
  2. 写文件操作阻塞主线程:虽然示例中 max_workers=1(单线程),但 open(..., 'w') 是覆盖写入,每次都会清空并重写整个文件,且生成大字符串(2000–5000 字符)的循环本身耗时显著——这拖慢了 for future in as_completed(...) 循环中后续 print('Out: ...') 的执行时机,导致多个 Out 消息被批量刷出,看起来像“堆积爆发”。

✅ 正确解法:分离关注点 + 强制刷新 + 追加写入

1. 使用 flush=True 确保实时输出

print('In: ', [index1, f'{int((index1/max1)*100)}%'], flush=True)
# 和
print('Out: ', [current_result[0], f'{int((count_Done/max1)*100)}%'], flush=True)

flush=True 绕过缓冲,让每条日志立即显示,消除“滞后感”。

2. 将文件写入改为追加('a'),避免覆盖开销

原代码中:

with open('temp_Publish.txt', 'w', ...)  # 每次清空重写!

应改为:

with open('temp_Publish.txt', 'a', encoding='utf-8') as f:
    f.write(f"thread-{current_result[0]}: {datetime.datetime.now().isoformat()}\n")

'a' 模式仅追加,无清空成本,大幅降低单次 I/O 延迟。

3. (可选但推荐)添加时间戳验证执行顺序

如答案示例所示,加入 datetime.now() 可客观验证:即使 Out 日志在终端显示错乱,文件写入内容的时间戳仍严格按完成顺序排列——证明 as_completed 逻辑本身完全可靠。

完整修复后核心片段:

import concurrent.futures
import random
import datetime

def Threads1(curr_section, index1):
    # ...(原有逻辑不变)
    perc = (index1 / max1) * 100
    print(f"[{datetime.datetime.now().strftime('%H:%M:%S.%f')[:-3]}] In:  [{index1}, '{int(perc)}%']", flush=True)
    return [index1, longest_recorded]

max1 = 20
ranger = [None] * max1
print(f"{0}%")

with concurrent.futures.ThreadPoolExecutor(max_workers=1) as executor:
    futures = {executor.submit(Threads1, sec, idx): idx for idx, sec in enumerate(ranger)}
    count_done = 0

    for future in concurrent.futures.as_completed(futures):
        count_done += 1
        result = future.result()

        # ✅ 追加写入,不阻塞
        with open('temp_Publish.txt', 'a', encoding='utf-8') as f:
            f.write(f"done-{result[0]}@{datetime.datetime.now().isoformat()}\n")
        with open('threads.txt', 'a', encoding='utf-8') as f:
            f.write(f"thread-{result[0]}@{datetime.datetime.now().isoformat()}\n")

        # ✅ 强制刷新,确保进度实时可见
        progress = int((count_done / max1) * 100)
        print(f"[{datetime.datetime.now().strftime('%H:%M:%S.%f')[:-3]}] Out: [{result[0]}, '{progress}%']", flush=True)

⚠️ 注意事项

  • 不要依赖 print 顺序判断逻辑正确性:终端输出受系统调度、缓冲、重定向等影响,仅作调试参考;真实顺序以 future.result() 返回顺序为准。
  • 避免在 as_completed 循环中做重型 I/O:若必须写大文件,考虑异步写入(如 asyncio)或队列+守护线程,防止阻塞主线程进度更新。
  • max_workers=1 本质是伪并发:此时 ThreadPoolExecutor 退化为串行执行器,as_completed 行为等价于按索引顺序完成——若需真正并发,请增大 max_workers 并接受自然的完成顺序波动。

通过以上调整,你既能保留所有磁盘写入逻辑,又能获得清晰、实时、符合直觉的进度反馈,完美解决“进度条不同步”的表象问题。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1971

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

5644

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1909

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

34597

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4027

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4047

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1303

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

636

2023.08.10

Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

0

2026.11.20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn