Go标准库log包不支持多输出、无日志级别路由、无结构化字段、无法动态增删后端,仅适合轻量单进程调试;需构建可插拔的日志分发器,通过Exporter接口广播LogEntry至文件、HTTP、Kafka等后端。

为什么直接用 log 包不行
Go 标准库的 log 包只支持单输出(SetOutput),且不带结构化、无级别路由、无法动态增删后端。你要同时写文件、发 HTTP、推 Kafka,它连“多目标”这个基本需求都满足不了。
真正要做的不是“封装 log”,而是构建一个可插拔的日志分发器(logger dispatcher)——核心是把日志条目(LogEntry)广播给多个注册的后端处理器(Exporter),每个后端决定自己怎么处理。
常见错误:试图在 log.SetOutput 里塞一个自定义 io.Writer 去“复用标准日志”,结果发现级别过滤、字段注入、并发写入全得自己补,最后代码比重写还乱。
如何设计 Exporter 接口并注册多个后端
定义统一出口接口,让每个后端实现自己的 Export 方法:
立即学习“go语言免费学习笔记(深入)”;
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器,提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象,支持命名依赖等
type LogEntry struct {
Level string `json:"level"`
Time time.Time `json:"time"`
Message string `json:"message"`
Fields map[string]interface{} `json:"fields,omitempty"`
}
<p>type Exporter interface {
Export(*LogEntry) error
Close() error // 用于清理连接、flush 缓冲等
}主日志器持有一个 []Exporter 切片,写日志时遍历调用:
func (l *Logger) Log(level, msg string, fields map[string]interface{}) {
entry := &LogEntry{
Level: level,
Time: time.Now(),
Message: msg,
Fields: fields,
}
for _, e := range l.exporters {
// 建议加 go e.Export(entry) + channel 控制并发,避免某个后端阻塞整体
if err := e.Export(entry); err != nil {
// 记录到 stderr 或 fallback file,别 panic,也别静默丢弃
}
}
}注册时直接 append:
logger := NewLogger()
logger.Register(&FileExporter{Path: "/var/log/app.json"})
logger.Register(&HTTPOutput{URL: "http://logsvc/v1/ingest"})
logger.Register(&KafkaExporter{Brokers: []string{"kafka:9092"}, Topic: "logs"})FileExporter 和 HTTPOutput 的关键差异点
文件导出器必须考虑轮转和并发安全;HTTP 导出器必须控制连接复用、超时、失败重试策略,二者不可混用同一套配置逻辑。
-
FileExporter应使用lumberjack.Logger(非标准库)做切割,而不是自己判断时间/大小——否则多进程或热重启时会丢日志 -
HTTPOutput必须复用http.Client,禁用默认超时(默认 30s 太长),建议设Timeout: 3s,并配MaxIdleConnsPerHost: 32 - 两者都应支持异步缓冲(例如用
chan *LogEntry+ goroutine 消费),但缓冲区满时策略不同:文件可阻塞(磁盘慢是常态),HTTP 应丢弃老日志(select { case ch )
启动时加载后端配置容易漏掉什么
配置通常来自 YAML/JSON,但很多人只解析结构,忽略校验和默认值填充:
- 没检查
file.path目录是否存在,导致首次写入时open /var/log/app: no such file or directory - HTTP 后端没设
timeout字段,默认值为 0 → 使用 http.DefaultClient 的 30s,线上抖动时批量超时拖垮整个日志链路 - Kafka 配置中
required_acks默认是 -1(all),但在测试环境没搭 ZooKeeper 就会卡住,应允许设为 1 或 0 - 所有 Exporter 初始化失败(如 Kafka 连不上、HTTP 服务 404)不应导致主程序 panic,而应记录 warning 并跳过注册
最常被忽略的是 Close 时机:程序退出前必须调用 logger.Close(),否则 Kafka producer 缓冲、HTTP 批量队列里的日志全丢了——这问题压测时看不出,上线后才发现日志断层。

















