讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

剧云
剧云

中文短剧剧本制作平台

AniShort
AniShort

AI短剧协同制作平台

Seko
Seko

AI短剧一键生成成片

Docker Swarm 中怎么在集群中配置 ELK 集中式日志系统

雨磊酱_8323

雨磊酱_8323

发布时间:2026-11-20 06:52:01

|

844人浏览过

|

来源于php中文网

原创

在 docker swarm 中配置 elk 集中式日志系统,核心做法是利用 docker 原生的 json-file 或 journald 日志驱动配合 fluentd/fluent bit 进行采集,并将数据转发至 elasticsearch。具体实施时,需为每个节点部署日志采集器 daemonset(通过全局服务实现),确保所有容器的标准输出被捕获并发送;同时,elasticsearch 和 kibana 作为有状态或无状态服务运行在集群中,通过 overlay 网络互通。这样做能实现跨节点的日志统一收集、存储与可视化,且无需修改业务容器代码。

Docker Swarm 中怎么在集群中配置 ELK 集中式日志系统

如何设计 ELK 组件的 Swarm 服务拓扑

ELK 栈在 Swarm 中的部署通常分为三层:采集层、存储层和展示层。采集层使用全局模式(mode: global)部署 Fluentd 或 Fluent Bit,确保每个 Worker 节点上都有一个实例运行,负责抓取该节点上所有容器的日志文件。存储层由 Elasticsearch 组成,建议至少三个副本以保障高可用,并使用持久化卷挂载数据目录。展示层由 Kibana 提供,通常只需一个副本,通过负载均衡暴露端口。这种拓扑结构利用了 Swarm 的服务发现机制,各组件间通过内部网络通信,对外仅暴露 Kibana 的 HTTP 端口。

Docker Swarm 中怎么在集群中配置 ELK 集中式日志系统

version: '3.8'

services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.15.0
    environment:
      - discovery.type=single-node
      - xpack.security.enabled=false
    volumes:
      - es_data:/usr/share/elasticsearch/data
    networks:
      - elk-net
    deploy:
      mode: replicated
      replicas: 1

  logstash:
    image: docker.elastic.co/logstash/logstash:7.15.0
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf:ro
    networks:
      - elk-net
    deploy:
      mode: replicated
      replicas: 1

  kibana:
    image: docker.elastic.co/kibana/kibana:7.15.0
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
    ports:
      - "5601:5601"
    networks:
      - elk-net
    deploy:
      mode: replicated
      replicas: 1

volumes:
  es_data:

networks:
  elk-net:
    driver: overlay

上述 `docker-compose.yml` 定义了一个最小化的 ELK 栈。Elasticsearch 配置为单节点模式以简化初始部署,关闭了安全认证以便快速测试。Logstash 挂载了本地配置文件,用于定义输入、过滤和输出规则。Kibana 通过环境变量指向 Elasticsearch 的内部地址。所有服务都连接到了名为 `elk-net` 的 Overlay 网络,这是 Swarm 集群特有的网络驱动,允许不同节点上的容器相互通信。数据卷 `es_data` 确保了索引数据在容器重启后不丢失。

Docker部署助手
Docker部署助手

「在我电脑上明明能跑」——因为少了Docker。帮你写Dockerfile、构建镜像、配置多环境、编排docker-compose,从本地开发到服务器部署一条龙。支持Node.js/Python/Go/Java/前端全栈,覆盖CI/CD集成、安全加固、监控告警,告别环境不一致的噩梦。 触发词:Docker部署、容...

下载

如何实现跨节点的全局日志采集

要实现真正的集中式日志,必须在每个 Swarm 节点上运行日志采集代理。在 Swarm 中,这通过创建具有 `mode: global` 的服务来实现。推荐使用 Fluent Bit 或 Vector 等轻量级代理,它们可以直接读取 Docker 的日志文件(位于 `/var/lib/docker/containers/`)。配置的关键在于让代理识别哪些日志属于当前节点,并将其发送到 Logstash 或 Elasticsearch。需要设置环境变量指定目标服务器的地址,并利用 Swarm 的约束条件确保服务调度到所有可用节点。此外,为了性能考虑,通常会先发送到 Logstash 进行预处理,再写入 ES,或者直接写入 ES 如果负载不高。

version: '3.8'

services:
  fluentbit:
    image: fluent/fluent-bit:1.8
    volumes:
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - /var/run/docker.sock:/var/run/docker.sock:ro
      - ./fluentbit.conf:/fluent-bit/etc/fluent-bit.conf:ro
    networks:
      - elk-net
    deploy:
      mode: global
      resources:
        limits:
          memory: 128M
        reservations:
          memory: 64M

networks:
  elk-net:
    driver: overlay

这个片段展示了 Fluent Bit 服务的定义。它挂载了 Docker 容器日志目录和 Socket,使其能够动态发现新创建的容器并读取其日志。`mode: global` 确保该服务会在集群中的每一个节点上启动一个实例。资源限制防止单个节点的日志流量过高影响宿主机器性能。配置文件 `fluentbit.conf` 需要配置 `[SERVICE]` 和 `[INPUT]` 以监听 Docker 日志,以及 `[OUTPUT]` 将数据推送到上一节定义的 Logstash 服务地址。这种配置实现了无侵入式的日志采集,业务容器无需任何特殊配置即可被监控。

如何处理 Elasticsearch 集群的高可用与数据持久化

在生产环境中,Elasticsearch 不能仅依赖单副本,必须配置多节点集群以保证高可用性。Swarm 支持通过增加 `replicas` 数量来扩展 ES 服务,但 ES 本身有主从选举机制,需要正确的配置才能形成集群。关键在于共享存储或独立的数据卷策略。如果使用独立数据卷,每个副本拥有独立数据,无法同步;因此推荐方案是使用外部存储后端(如 NFS、EBS 或专用分布式文件系统)挂载到所有 ES 实例,或者使用 ES 官方推荐的 StatefulSet 模式(在 Swarm 中通过多个独立服务模拟)。另外,需调整 `discovery.seed_hosts` 和 `cluster.initial_master_nodes` 等参数,使多个 ES 容器能互相发现并组成集群。同时,应配置健康检查以确保只有健康的节点接收流量。

热门AI工具

更多
函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

相关专题

更多
k8s和docker区别
k8s和docker区别

k8s和docker区别有抽象层次不同、管理范围不同、功能不同、应用程序生命周期管理不同、缩放能力不同、高可用性等等区别。本专题为大家提供k8s和docker区别相关的各种文章、以及下载和课程。

845

2023.07.24

docker进入容器的方法有哪些
docker进入容器的方法有哪些

docker进入容器的方法:1. Docker exec;2. Docker attach;3. Docker run --interactive --tty;4. Docker ps -a;5. 使用 Docker Compose。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7119

2024.04.08

docker容器无法访问外部网络怎么办
docker容器无法访问外部网络怎么办

docker 容器无法访问外部网络的原因和解决方法:配置 nat 端口映射以将容器端口映射到主机端口。根据主机兼容性选择正确的网络驱动(如 host 或 overlay)。允许容器端口通过主机的防火墙。配置容器的正确 dns 服务器。选择正确的容器网络模式。排除主机网络问题,如防火墙或连接问题。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

8337

2024.04.08

docker镜像有什么用
docker镜像有什么用

docker 镜像是预构建的软件组件,用途广泛,包括:应用程序部署:简化部署,提高移植性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3353

2024.04.08

Docker容器化部署与DevOps实践
Docker容器化部署与DevOps实践

本专题面向后端与运维开发者,系统讲解 Docker 容器化技术在实际项目中的应用。内容涵盖 Docker 镜像构建、容器运行机制、Docker Compose 多服务编排,以及在 DevOps 流程中的持续集成与持续部署实践。通过真实场景演示,帮助开发者实现应用的快速部署、环境一致性与运维自动化。

379

2026.02.11

Docker 容器部署
Docker 容器部署

本专题整合了Docker容器部署相关内容,阅读专题下面的文章了解更多详细操作教程。

511

2026.03.31

Java容器化部署与Docker实践教程合集
Java容器化部署与Docker实践教程合集

聚焦 Java 应用的容器化与云原生部署,讲解 Dockerfile 编写规范与 Java 应用镜像构建、多阶段构建(Multi-stage Build)减小镜像体积、Jib / Buildpacks 免 Dockerfile 镜像构建方案、JVM 容器感知参数(-XX:MaxRAMPercentage)配置、Docker Compose 编排多服务(应用 + MySQL + Redis)、容器健康检查与资源限制、Kubernetes

480

2026.05.11

Go Docker与容器化部署教程合集
Go Docker与容器化部署教程合集

聚焦 Go 应用的容器化部署优势与实践,讲解 Go 静态编译特性(CGO_ENABLED=0)与 scratch / distroless 极小基础镜像构建、多阶段 Dockerfile 编写规范、交叉编译生成目标平台二进制、镜像安全扫描(Trivy)与漏洞修复、Docker Compose 本地编排开发环境、Kubernetes Deployment / Service / ConfigMap 部署 Go 服务、健康检查(Livene

365

2026.05.15

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

20

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Docker Desktop故障排查手册
Docker Desktop故障排查手册

共0课时 | 0人学习

Docker镜像构建手册
Docker镜像构建手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn