讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux怎么使用命名管道FIFO控制Shell脚本的并发数量

夏杰吖_9721

夏杰吖_9721

发布时间:2026-10-31 10:13:29

|

996人浏览过

|

来源于php中文网

原创

mkfifo基于内核阻塞语义实现硬限流,要求读写端同时打开才能通信,天然防死锁、不惧崩溃;而xargs -P和&+wait缺乏并发控制与异常恢复能力。

linux怎么使用命名管道fifo控制shell脚本的并发数量

为什么用 mkfifo 而不是 xargs -P 或 & + wait

因为 xargs -P 在任务中途崩溃、超时或被信号中断时,会卡住未完成的子进程,且无法回收已占用的并发槽位;& + wait 更是完全不控并发,全靠人工数 wait 数量,一错就满屏进程。而 mkfifo 基于内核级阻塞语义:只有读写两端同时存在,数据才能流通——这个“必须配对”的特性天然构成硬限流,不依赖轮询、不惧崩溃、无竞态。

exec 绑定文件描述符时为什么用 而不是 或 <code>>

单向打开(如 exec 3)会导致后续无法写回令牌;只写(<code>exec 3> fifo)则第一次 read -u3 就失败——FIFO 要求至少一个读端和一个写端同时打开才可通行。用 是以读写模式打开,让同一个 fd 既能 read 消耗令牌,也能 echo >&3 归还令牌。这是整个机制能闭环的关键一步。

初始化令牌时 echo 写入顺序和 read -u 阻塞行为的关系

初始化阶段往 FIFO 写 N 个换行符,本质是预置 N 个“可用槽位”。但注意:echo 必须在 exec 绑定之后、任务循环之前执行,否则可能因读端未就绪导致写操作阻塞;而每个任务里的 read -u3 会严格阻塞,直到 FIFO 中有数据可读——也就是前一个任务释放了令牌(echo >&3),才会继续向下执行。这种“取-用-还”链条不可跳过,漏掉任意一环都会死锁。

Obsidian (Linux)
Obsidian (Linux)

操作 Obsidian 库(纯 Markdown 笔记),并通过 notesmd-cli 实现自动化。

下载
  • 常见错误:在 for 循环里直接 read -u3 后没写 echo >&3,任务退出后令牌永久丢失
  • 更隐蔽的坑:任务里用了 set -e 或 exec 替换 shell(如 exec python script.py),会导致 echo >&3 根本不执行——必须用 trap 'echo >&3' EXIT 保底
  • 路径安全:FIFO 文件名建议带 $$(如 /tmp/fifo.$$),避免多实例冲突;创建后立即 rm -f,靠 fd 持有句柄,防止残留文件污染

并发数设太高或太低的实际影响

设太高(比如 200)会让管理机 CPU 和内存瞬间吃紧,尤其当任务本身是 ssh/scp 这类开销大的操作时,连接数打满反而拖慢整体;设太低(比如 1)虽安全,但无法压满专线或磁盘 I/O。真实场景中,应结合任务类型调优:ping 类轻量任务可设 50+,scp 类重 IO 任务建议 3–8,ssh + tar 类建议 ≤5。没有通用最优值,只有当前环境下的合理值。

真正容易被忽略的是:FIFO 的阻塞是“打开即阻塞”,不是“读时才阻塞”。一旦某个任务在 read -u3 卡住,它就占着 fd 不放,后续所有同 fd 的读操作都排队等它——所以 trap 的注册位置、echo 的执行时机、以及是否允许任务自身提前退出,这三个点任何一个出问题,整个并发池就停摆。

热门AI工具

更多
小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4310

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3633

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2893

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

7090

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

6742

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3853

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

3365

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

3599

2023.07.25

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Miniconda官方安装文档
Miniconda官方安装文档

共0课时 | 0人学习

phpMyAdmin 安装文档
phpMyAdmin 安装文档

共0课时 | 0人学习

安装 Xdebug 并配置 phpstorm
安装 Xdebug 并配置 phpstorm

共1课时 | 196人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn