Go程序可直接用elastic/v8客户端将结构化日志POST到Elasticsearch，需避坑：字段名勿以@开头、批量写入用Bulk API（500–1000条/次）、设ctx timeout、预建index template防类型冲突、采样按trace_id哈希实现热更新。
Go 程序怎么把日志发到 Elasticsearch（不走 Logstash）
直接发是可行的，但得绕过 Logstash——用 elastic/v8 官方客户端 + 自定义日志格式，把结构化日志当文档 POST 进 ES。别指望 log 包原生支持，它连 JSON 都不输出，必须换日志库或自己封装。
常见错误现象：400 Bad Request（字段类型冲突）、401 Unauthorized（没配 Basic Auth）、ES 拒绝写入（index 不存在且未开 auto-create）。
- 用
github.com/elastic/go-elasticsearch/v8，别用 v7 或第三方 fork，v8 对 Go Module 和 context 支持更稳 - ES 地址必须带协议，比如
http://localhost:9200，漏掉http://会静默失败 - 日志字段名避免以
@开头（如@timestamp），ES 7+ 会拦截；改用timestamp或ts - 批量写入比单条 POST 快 5–10 倍，但要注意
bulk请求体格式：每条操作指令和文档数据要换行分隔，不能用 JSON 数组
zap 日志怎么对接 elasticsearch
zap 本身不联网，得靠 Core + WriteSyncer 把日志转成 HTTP 请求。别用 zap 的 WriteSyncer 直接包装 http.Client，它不支持异步、无重试、阻塞主线程。
使用场景：微服务中每个请求的 trace_id、user_id、耗时等需要实时进 ES 做聚合分析。
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等
立即学习“go语言免费学习笔记（深入）”；
- 自己实现
WriteSyncer，内部用带缓冲的 channel + 单独 goroutine 消费，避免 zap 调用卡住业务逻辑 - 每条日志转成 map[string]interface{} 后，用
es.Bulk().Add()组装，再调Do(ctx)发送 - 务必设
ctxtimeout（建议 3–5s），ES 临时不可用时 zap 不该 hang 住 - 别在
EncodeEntry里做 HTTP 请求——zap 要求编码必须快，网络 IO 在这里会拖垮整个日志链路
elasticsearch bulk 写入失败的典型原因
bulk 返回 200 不代表全成功，得看响应体里的 errors: true 和每条 item 的 status 字段。最常踩的坑是字段类型冲突，比如第一次写 "duration": 123（int），后面又写 "duration": "123ms"（string），ES 就会拒掉整条。
- 提前创建 index template，用
dynamic_templates统一字符串字段为keyword，避免 text 分词干扰聚合 - bulk 请求体每行必须是合法 JSON，且操作行（index）和文档行（source）严格交替，多一个逗号、少一个换行都导致整个 batch 失败
- 单个 bulk 请求别超 10MB，否则 ES 可能直接 close connection；按文档数切分（建议 500–1000 条/次）比按字节更可控
- 遇到
429 Too Many Requests，说明 ES 写入过载，别重试 5 次——加指数退避，或者降级到本地文件暂存
要不要在 Go 里做日志采样（sample）
要，尤其高 QPS 服务。全量打到 ES，磁盘和查询压力很快见顶，而且多数 debug 日志根本没人查。采样不是“随机丢”，而是按关键维度控制，比如只保留 error 级别全量、info 级别按 trace_id 哈希后取模 100 选 1。
- zap 的
SamplingConfig只对同一条日志的重复调用生效（比如循环里 log.Info），对不同请求无效，别依赖它做流量采样 - 在写入前判断：提取
trace_id字段，hash(trace_id) % 100 == 0才进 ES，这样同一链路的日志要么全进、要么全不进，查问题不割裂 - 采样开关必须可热更新（比如从 etcd 或环境变量读），上线后发现漏关键日志，能立刻调高比例
- 别在采样逻辑里调用任何外部服务（如 redis 查询配置），延迟会污染日志路径
字段映射一旦写错，ES 不会自动修正，后续所有同名字段都会被丢弃——建索引前先用 PUT /mylog-2024/_mapping 手动确认字段类型，比出问题后再 reindex 省三小时。
