Go日志客户端核心是轻量并发、低内存、高吞吐与容错：采用Channel+Worker Pool异步缓冲批处理，支持内存限流、磁盘暂存、动态采样、健康监测与自愈。
Go语言开发高性能日志收集客户端，核心在于轻量、并发可控、低内存占用、高吞吐写入与容错可靠。不依赖重型框架，用原生能力+合理设计即可达成。
基于Channel + Worker Pool的异步日志缓冲与批量发送
避免每条日志同步刷网络或磁盘，引入内存缓冲层：日志写入先发往无界或有界channel，由固定数量worker goroutine消费，聚合为批次（如100条/512KB/100ms超时），再统一编码（JSON/Protocol Buffers）并HTTP/gRPC/UDP发送至日志服务端。
- channel容量建议设为1024~8192，防止突发日志压爆内存；配合select + default实现非阻塞写入，满时可降级为直发或丢弃DEBUG级日志
- worker数通常设为CPU逻辑核数的1~2倍，避免过度调度；每个worker独占一个HTTP client连接池（设置MaxIdleConnsPerHost=32）
- 批次触发条件需多维判断：条数、总字节数、时间戳（time.Since(lastFlush) > 100ms），三者任一满足即发送
支持本地磁盘暂存（Spill-to-Disk）保障断网不丢日志
当网络异常或服务端不可达时，将待发送日志落盘为滚动文件（如log-20240601-001.log），使用mmap或bufio.Write配合O_APPEND高效写入；恢复后按文件顺序重放，成功后自动清理。
- 磁盘目录需独立挂载、预留足够空间（建议配置最大占用512MB），并定期check disk usage，超阈值触发告警或拒绝新日志写入
- 落盘格式推荐行式文本（便于调试）+ 文件名含时间戳和序列号，避免解析歧义；读取时用bufio.Scanner逐行解码，跳过损坏行
- 启用fsync（每100条或500ms）平衡性能与可靠性，不强制每次write都sync
细粒度日志分级与动态采样控制
生产环境高频INFO/WARN日志易打爆管道，需在客户端侧做前置过滤：按模块、等级、关键词动态开启/关闭采集，并对同类型日志实施滑动窗口采样（如“每秒最多上报5条重复错误堆栈”）。
立即学习“go语言免费学习笔记（深入）”；
- 用sync.Map缓存
errorKey → lastReportTime，结合原子计数器实现毫秒级限流，避免锁竞争 - 支持运行时热更新采样策略（通过watch本地配置文件或接收HTTP POST指令），无需重启进程
- DEBUG/TRACE类日志默认关闭，仅在特定机器或trace_id命中时临时打开，通过context.WithValue透传开关信号
健康监测与自愈机制
客户端需主动暴露指标（如pending_queue_len、send_failures_1m、disk_usage_percent）供Prometheus抓取，并内置基础自愈逻辑：
- 连续3次发送失败，自动切换备用API地址（预置2~3个endpoint，轮询+失败权重降级）
- 内存使用超80%（runtime.ReadMemStats）时，临时提升采样率或暂停非ERROR日志收集，5秒后自动恢复
- 提供/healthz端点返回当前状态，包含队列长度、最近发送延迟P99、磁盘剩余空间等关键字段
不复杂但容易忽略：所有goroutine必须有明确退出路径，用context.WithCancel控制生命周期；日志结构体避免指针嵌套过深，序列化前做浅拷贝防并发修改；上线前务必压测单机10k+/s日志写入场景下的GC频率与延迟毛刺。
