讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux怎么在Shell脚本中并发多进程并行执行后台任务

雨萱小哥_9349

雨萱小哥_9349

发布时间:2026-11-02 12:06:20

|

691人浏览过

|

来源于php中文网

原创

& 启动后台任务必须配合 wait 才能可靠收尾,否则子进程易成孤儿、变量不回传、输出乱序且无法捕获各任务退出码;需用 wait $pid 或 wait -n 获取状态,并结合 jobs -r 动态限流。

linux怎么在shell脚本中并发多进程并行执行后台任务

直接用 & 启动后台任务 + wait 同步是最轻量、最可控的方式,不需要额外工具,也避免了 xargs -P 对输入格式的苛刻要求和 GNU Parallel 的依赖问题。

为什么不能只写 cmd & 就完事

单独加 & 确实能并发,但极易踩坑:脚本主线程不等子进程就退出,导致子进程变成孤儿;变量在子 shell 中修改不回传;输出乱序且无法捕获每个任务的退出码。比如:

  • for i in {1..5}; do echo $i >> log; done → 串行,log 是 1 2 3 4 5
  • for i in {1..5}; do echo $i >> log & done → 并发,但 log 可能是 31524 或部分缺失,且没等完就继续执行后续命令

关键不是“能不能并发”,而是“能不能可靠收尾”。必须配 wait,否则等于没控。

wait 怎么用才不丢状态

wait 本身不保存退出码,$? 只反映上一个命令的结果,所以必须在 wait 后立刻读取对应 PID 的状态——而且得用 wait -n 或显式等待指定 PID。

Linux Security Scanner
Linux Security Scanner

Linux 安全审计工具,检查 SSH 配置、开放/监听端口、防火墙规则(ufw/iptables/nftables)、失败登录尝试、sudoers 权限...

下载
  • 启动时存 PID:cmd & pid=$!
  • 等单个任务并取状态:wait $pid; echo "exit: $?"
  • 等任意一个完成(用于限流):wait -n,配合 jobs -r | wc -l 判断当前并发数
  • 别用无参 wait 后再查 $? ——它返回的是最后那个结束进程的状态,其他全丢了

如何限制最大并发数不打爆系统

不限制并发数等于赌运气。50 个 ping 同时发出去,可能触发 ICMP flood 限速或耗尽文件描述符。正确做法是动态控流:

  • 每次提交新任务前,检查当前后台任务数:jobs -r | wc -l
  • 超过阈值就 wait -n 等一个空位释放
  • 示例逻辑:
    MAX=3
    for task in "${tasks[@]}"; do
      while [ $(jobs -r | wc -l) -ge $MAX ]; do wait -n; done
      run_task "$task" &
    done
    wait
  • 注意:jobs -r 只显示运行中任务,比 ps 更轻量,且不依赖外部命令

xargs -P 和 & + wait 选哪个

看输入来源和控制粒度:

  • 用 xargs -P:输入是纯文本流(如 find 结果)、命令完全一致、不关心单个失败、不怕空格换行(记得加 -print0 | xargs -0)
  • 用 & + wait:要为每个任务设不同参数、需捕获各自退出码、要重定向各自日志、要动态判断是否重试、要处理含空格/换行的变量(比如数组元素)
  • 别混用:比如 echo "${arr[@]}" | xargs -P 4 ... 在数组含空格时会崩,而 for item in "${arr[@]}"; do ... & done 天然安全

真正容易被忽略的是子 shell 变量隔离——在 (...) 或后台任务里改的变量,父脚本完全看不见;需要结果必须通过文件、命名管道或 wait 后解析输出来传递。

热门AI工具

更多
Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4370

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3673

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2933

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

7230

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

6882

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3933

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

3425

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

3659

2023.07.25

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

0

2026.11.02

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Miniconda官方安装文档
Miniconda官方安装文档

共0课时 | 0人学习

phpMyAdmin 安装文档
phpMyAdmin 安装文档

共0课时 | 0人学习

安装 Xdebug 并配置 phpstorm
安装 Xdebug 并配置 phpstorm

共1课时 | 200人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn