讲师中心 微信公众号

工具推荐

视频效率加速
AniShort
AniShort

AI短剧协同制作平台

Laper
Laper

剧本策划到成片协作

updream

一键生成高质量推广成片

SoundView
SoundView

字幕擦除翻译、配音口型同步

Docker 中怎么将 Docker 容器日志发送至 Logstash

浅明同学_5779

浅明同学_5779

发布时间:2026-11-20 05:34:37

|

339人浏览过

|

来源于php中文网

原创

将 docker 容器日志发送至 logstash 最可靠的做法是配置 docker 的 json-file 驱动,并设置 env-tags 或 labels-as-tags 参数,让每条日志自动携带容器元数据,随后在 logstash 中通过 docker-container 输入插件或 filebeat 采集这些带标签的 json 日志。具体而言,启动容器时指定 --log-driver=json-file --log-opt env-tags=container_name,container_id(或使用 labels-as-tags=true),logstash 接收后利用 json 解码器解析日志体,并用 mutate 提取标签字段,最终写入 elasticsearch。若需处理非 json 格式的 stdout/stderr 日志,可改用 fluentd 或 filebeat 作为中间代理,但原生 json-file 驱动配合 logstash 的 beats 或 tcp/udp 输入也能实现直连。关键条件是:日志必须为 json 格式,且 logstash 管道需正确映射容器 id 与名称,否则无法区分不同容器的日志流。

Docker 中怎么将 Docker 容器日志发送至 Logstash

Docker 容器日志如何自动携带元数据标签

Docker 的 json-file 日志驱动支持通过 env-tags 和 labels-as-tags 选项,将环境变量或容器标签嵌入日志 JSON 的 stream 和 logtag 字段之外的自定义键值对中。启用后,每条日志记录会包含 container_name、container_id 等字段,便于 Logstash 识别来源。例如,设置 --log-opt labels-as-tags=true 会将所有容器标签转为日志中的 tag_<label_key></label_key> 形式。此功能无需额外代理,直接由 Docker 引擎注入,确保元数据与日志内容同步生成。实际效果是,Logstash 收到的每条消息都自带结构化元数据,避免后续通过 IP 或主机名反查容器身份。

Docker 中怎么将 Docker 容器日志发送至 Logstash

{
  "log": "2023-10-05T10:00:00Z INFO Starting service\n",
  "stream": "stdout",
  "time": "2023-10-05T10:00:00.000000000Z",
  "container_id": "abc123def456",
  "container_name": "web-app",
  "label_app": "frontend",
  "label_env": "production"
}

上述示例展示了启用 labels-as-tags 后的典型日志结构。其中 container_id 和 container_name 由 Docker 自动填充,label_app 和 label_env 来自容器启动时指定的标签。Logstash 可通过 json { source => "message" } 解析该 JSON,再用 mutate { add_field => { "app_name" => "%{label_app}" } } 提取业务标识。注意:若未启用标签注入,则 label_* 字段不存在,需依赖其他机制如 docker-container 插件动态获取元数据。此方法适用于所有使用 json-file 驱动的容器,且不影响日志性能。

Docker部署助手
Docker部署助手

「在我电脑上明明能跑」——因为少了Docker。帮你写Dockerfile、构建镜像、配置多环境、编排docker-compose,从本地开发到服务器部署一条龙。支持Node.js/Python/Go/Java/前端全栈,覆盖CI/CD集成、安全加固、监控告警,告别环境不一致的噩梦。 触发词:Docker部署、容...

下载

Logstash 如何解析并路由带标签的容器日志

Logstash 接收 Docker 日志后,需通过 input 插件获取原始数据,再经 filter 阶段解析 JSON 并提取元数据,最后由 output 写入 Elasticsearch。推荐使用 beats 输入插件(如 Filebeat)或直接监听 json-file 生成的日志文件。在 filter 中,先使用 json 解码器解析日志体,再通过 mutate 或 grok 提取 container_name、label_app 等字段。路由逻辑可根据标签值设置索引别名,例如 if [label_env] == "production" { index => "logs-prod-%{+YYYY.MM.dd}" }。此流程确保日志按环境、应用分类存储,便于查询和分析。关键点在于:JSON 解析必须在元数据提取之前完成,否则字段不可用;同时需处理日志截断或多行合并问题,通常通过 multiline 插件解决。

Docker 中怎么将 Docker 容器日志发送至 Logstash

input {
  beats {
    port => 5044
  }
}

filter {
  if [source] =~ /docker.*\.log$/ {
    json {
      source => "message"
      target => "docker_log"
    }
    mutate {
      copy => { "[docker_log][container_name]" => "container_name" }
      copy => { "[docker_log][label_app]" => "app_name" }
    }
    grok {
      match => { "[docker_log][log]" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:level} %{GREEDYDATA:msg}" }
    }
  }
}

output {
  if [app_name] == "frontend" {
    elasticsearch {
      hosts => ["http://es:9200"]
      index => "logs-frontend-%{+YYYY.MM.dd}"
    }
  }
  else {
    elasticsearch {
      hosts => ["http://es:9200"]
      index => "logs-default-%{+YYYY.MM.dd}"
    }
  }
}

该 Logstash 配置演示了完整的数据流。beats 输入接收 Filebeat 发送的压缩日志,filter 中首先检查源路径是否匹配 Docker 日志文件,然后解析 JSON 消息体至 docker_log 子对象。接着,mutate 插件复制 container_name 和 label_app 到顶层字段,便于后续条件判断。grok 插件从日志正文中提取时间戳、日志级别和消息内容。输出部分根据 app_name 字段决定写入哪个 Elasticsearch 索引。若容器无 label_app 标签,则走默认索引。此配置假设 Filebeat 已正确配置 docker 模块并启用 json-file 日志采集。实际部署时需调整 hosts 地址和索引命名策略。

当容器未设置任何标签时 Logstash 如何处理日志

若容器启动时未指定任何 labels 或未启用 labels-as-tags,则日志中不会包含 label_* 字段,此时 Logstash 仍可通过 container_id 和 container_name 识别来源,但无法按应用或环境分类。解决方案是在 Logstash 中使用 if 条件判断字段是否存在,并为缺失标签提供默认值。例如,if ! [app_name] { mutate { add_field => { "app_name" => "unknown" } } }。此外,可结合 Docker API 定期查询容器标签,补充元数据,但这会增加延迟和复杂度。更简单的做法是强制要求所有容器必须定义至少一个 app 标签,或在编排工具(如 Docker Compose、Kubernetes)中统一注入标签。对于临时调试容器,接受其进入默认索引即可,不影响核心监控链路。

热门AI工具

更多
码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
k8s和docker区别
k8s和docker区别

k8s和docker区别有抽象层次不同、管理范围不同、功能不同、应用程序生命周期管理不同、缩放能力不同、高可用性等等区别。本专题为大家提供k8s和docker区别相关的各种文章、以及下载和课程。

845

2023.07.24

docker进入容器的方法有哪些
docker进入容器的方法有哪些

docker进入容器的方法:1. Docker exec;2. Docker attach;3. Docker run --interactive --tty;4. Docker ps -a;5. 使用 Docker Compose。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

7119

2024.04.08

docker容器无法访问外部网络怎么办
docker容器无法访问外部网络怎么办

docker 容器无法访问外部网络的原因和解决方法:配置 nat 端口映射以将容器端口映射到主机端口。根据主机兼容性选择正确的网络驱动(如 host 或 overlay)。允许容器端口通过主机的防火墙。配置容器的正确 dns 服务器。选择正确的容器网络模式。排除主机网络问题,如防火墙或连接问题。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

8337

2024.04.08

docker镜像有什么用
docker镜像有什么用

docker 镜像是预构建的软件组件,用途广泛,包括:应用程序部署:简化部署,提高移植性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3353

2024.04.08

Docker容器化部署与DevOps实践
Docker容器化部署与DevOps实践

本专题面向后端与运维开发者,系统讲解 Docker 容器化技术在实际项目中的应用。内容涵盖 Docker 镜像构建、容器运行机制、Docker Compose 多服务编排,以及在 DevOps 流程中的持续集成与持续部署实践。通过真实场景演示,帮助开发者实现应用的快速部署、环境一致性与运维自动化。

379

2026.02.11

Docker 容器部署
Docker 容器部署

本专题整合了Docker容器部署相关内容,阅读专题下面的文章了解更多详细操作教程。

511

2026.03.31

Java容器化部署与Docker实践教程合集
Java容器化部署与Docker实践教程合集

聚焦 Java 应用的容器化与云原生部署,讲解 Dockerfile 编写规范与 Java 应用镜像构建、多阶段构建(Multi-stage Build)减小镜像体积、Jib / Buildpacks 免 Dockerfile 镜像构建方案、JVM 容器感知参数(-XX:MaxRAMPercentage)配置、Docker Compose 编排多服务(应用 + MySQL + Redis)、容器健康检查与资源限制、Kubernetes

480

2026.05.11

Go Docker与容器化部署教程合集
Go Docker与容器化部署教程合集

聚焦 Go 应用的容器化部署优势与实践,讲解 Go 静态编译特性(CGO_ENABLED=0)与 scratch / distroless 极小基础镜像构建、多阶段 Dockerfile 编写规范、交叉编译生成目标平台二进制、镜像安全扫描(Trivy)与漏洞修复、Docker Compose 本地编排开发环境、Kubernetes Deployment / Service / ConfigMap 部署 Go 服务、健康检查(Livene

365

2026.05.15

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

20

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Docker Desktop故障排查手册
Docker Desktop故障排查手册

共0课时 | 0人学习

Docker镜像构建手册
Docker镜像构建手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn