讲师中心 微信公众号

工具推荐

视频效率加速
Seko
Seko

AI短剧一键生成成片

updream

一键生成高质量推广成片

剧云
剧云

中文短剧剧本制作平台

立刻MV
立刻MV

低成本歌曲 MV、视频生成

DockerDaemon多并发任务处理性能调优实践

落敏大大_4004

落敏大大_4004

发布时间:2026-03-18 08:24:55

|

451人浏览过

|

来源于php中文网

原创

根本原因是默认 max-concurrent-downloads 和 max-concurrent-uploads 过小(仅3),导致高并发拉镜像时请求排队等待下载锁,表现为“无报错但卡在 pulling”;需调大该值并监控 I/O。

dockerdaemon多并发任务处理性能调优实践

为什么 dockerd 在高并发拉取镜像时卡住?

根本原因不是 CPU 或内存打满,而是默认的 max-concurrent-downloads 和 max-concurrent-uploads 太保守(默认 3)。当批量启动容器或 CI 流水线并发拉镜像时,大量请求排队等待下载锁,表现为「没报错但一直卡在 pulling」。

实操建议:

  • 修改 /etc/docker/daemon.json,增加:
    { "max-concurrent-downloads": 10, "max-concurrent-uploads": 10 }
  • 重启生效:sudo systemctl restart docker
  • 注意:值设太高可能压垮镜像仓库或本地磁盘 I/O,建议从 5 开始逐步调高,配合 iostat -x 1 观察 %util

dockerd 启动慢、响应延迟高的常见配置冲突

典型现象是执行 docker info 要等 3–5 秒,或者 docker ps 偶发超时。大概率是启用了某些低效后端或网络探测机制。

实操建议:

  • 禁用 IPv6 自动探测(除非真用 IPv6):"ipv6": false,避免 daemon 启动时阻塞等待 IPv6 路由就绪
  • 关闭 live-restore(如果没做容器热恢复需求):"live-restore": false,否则每次 dockerd 重启都会扫描全量容器状态
  • 检查 registry-mirrors 配置——若镜像源不可达或响应慢,dockerd 会在后台持续重试,拖慢所有 API 响应

并发构建时 docker build 抢占 buildkit 资源导致失败

启用 BuildKit 后,并发 docker build 默认共享同一套构建缓存和 worker 池。一旦某个大镜像构建占满内存或磁盘缓存,其他构建会因 failed to compute cache key 或 context deadline exceeded 中断。

实操建议:

  • 为不同构建任务分配独立缓存命名空间:DOCKER_BUILDKIT=1 docker build --cache-from type=local,src=/tmp/cache-a ...
  • 限制单个构建的资源上限(需 Docker 24.0+):--memory=2g --cpus=2,防止一个构建吃光宿主机资源
  • 避免在 CI 中无节制启用 DOCKER_BUILDKIT=1 ——老版本 BuildKit 对多阶段构建的并发支持不稳,反而比经典 builder 更容易死锁

容器启动延迟突增,其实是 containerd 的 shim 进程创建瓶颈

dockerd 本身不直接运行容器,它委托给 containerd;而 containerd 每启一个容器,就要 fork 一个 containerd-shim 进程。在低配机器或 SELinux 强制模式下,进程 fork + 安全上下文初始化可能成为瓶颈。

实操建议:

  • 确认 containerd 版本 ≥ 1.6 —— 1.5 及以前在高并发场景下 shim 创建有已知锁竞争问题
  • 若用 SELinux,避免频繁切换策略:临时关闭验证测试是否改善延迟:sudo setenforce 0(仅用于定位)
  • 监控 containerd-shim 进程数:ps aux | grep containerd-shim | wc -l,持续超过 200 且增长不收敛,说明存在容器未正常退出或 shim 泄漏

真正难调的点不在参数开关,而在各层之间资源视角错位:dockerd 看的是并发数,containerd 看的是 shim 进程负载,而内核看到的是 fork 数和 cgroup 压力。调参前务必先用 strace -p $(pgrep dockerd) 确认卡在哪一环。

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2295

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3742

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1236

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

4319

2025.09.10

k8s和docker区别
k8s和docker区别

k8s和docker区别有抽象层次不同、管理范围不同、功能不同、应用程序生命周期管理不同、缩放能力不同、高可用性等等区别。本专题为大家提供k8s和docker区别相关的各种文章、以及下载和课程。

805

2023.07.24

docker进入容器的方法有哪些
docker进入容器的方法有哪些

docker进入容器的方法:1. Docker exec;2. Docker attach;3. Docker run --interactive --tty;4. Docker ps -a;5. 使用 Docker Compose。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

6619

2024.04.08

docker容器无法访问外部网络怎么办
docker容器无法访问外部网络怎么办

docker 容器无法访问外部网络的原因和解决方法:配置 nat 端口映射以将容器端口映射到主机端口。根据主机兼容性选择正确的网络驱动(如 host 或 overlay)。允许容器端口通过主机的防火墙。配置容器的正确 dns 服务器。选择正确的容器网络模式。排除主机网络问题,如防火墙或连接问题。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7757

2024.04.08

docker镜像有什么用
docker镜像有什么用

docker 镜像是预构建的软件组件,用途广泛,包括:应用程序部署:简化部署,提高移植性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3093

2024.04.08

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

40

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn