答案：使用Golang通过TCP/UDP实现日志收集系统，涵盖发送、接收、解析与结构化输出。1. 客户端利用net包通过TCP（可靠）或UDP（高效）发送日志，建议批量发送提升性能；2. 服务端分别监听TCP/UDP端口，TCP用goroutine处理多连接，UDP单连接接收所有消息；3. 接收后使用正则或日志库将文本解析为JSON等结构化数据；4. 最佳实践包括TLS加密、心跳检测、缓冲机制、写入Kafka/ES及统一时间格式，构建轻量高效日志系统。
在分布式系统或微服务架构中，集中式日志收集是排查问题和监控系统状态的关键。Golang 因其高并发和轻量网络处理能力，非常适合用于构建高效的日志传输与解析服务。本文介绍如何使用 Golang 实现基于 TCP/UDP 的日志收集系统，涵盖日志发送、接收、解析与结构化输出。
Golang 日志发送：通过 TCP/UDP 发送日志
客户端需要将本地日志发送到远程日志服务器。可以使用标准库 net 包实现 TCP 或 UDP 通信。
TCP 更适合要求可靠传输的场景，UDP 则适用于高吞吐、可容忍少量丢失的日志流（如访问日志）。
TCP 日志发送示例：建立长连接，逐条发送日志：
立即学习“go语言免费学习笔记（深入）”；
conn, err := net.Dial("tcp", "localhost:8080")
if err != nil {
log.Fatal(err)
}
defer conn.Close()
logMsg := "2024-04-05 10:00:00 INFO User login success\n"
conn.Write([]byte(logMsg))
UDP 日志发送示例：
无连接，每次发送独立数据包：
addr, _ := net.ResolveUDPAddr("udp", "localhost:9090")
conn, _ := net.DialUDP("udp", nil, addr)
defer conn.Close()
conn.Write([]byte("ERROR: Database connection failed\n"))
生产环境中建议使用缓冲通道 + 批量发送优化性能，避免频繁系统调用。
日志服务器：监听并接收日志
服务端需监听指定端口，接收来自多个客户端的日志消息。
TCP 服务端（支持多连接）：使用 goroutine 处理每个连接：
使用约定式提交（Conventional Commits）生成标准化的 Git 提交信息。适用于以下场景： (1) 暂存更改时需要提交信息； (2) 审查 diff 时希望获得结构化摘要； (3) 编写 PR 描述或变更日志（changelog）条目； (4) 用户明确要求“为本次更改编写提交信息”。 该功能会分析已暂存/未暂存的 diff，并生成按类型（type）划分范围的提交信息。
listener, _ := net.Listen("tcp", ":8080")
for {
conn, _ := listener.Accept()
go handleConnection(conn)
}
func handleConnection(conn net.Conn) {
defer conn.Close()
scanner := bufio.NewScanner(conn)
for scanner.Scan() {
logLine := scanner.Text()
parseAndStore(logLine)
}
}
UDP 服务端（单连接接收所有消息）：
UDP 是无连接的，一个套接字即可接收所有数据：
addr, _ := net.ResolveUDPAddr("udp", ":9090")
conn, _ := net.ListenUDP("udp", addr)
defer conn.Close()
buf := make([]byte, 1024)
for {
n, _, _ := conn.ReadFromUDP(buf)
logLine := string(buf[:n])
parseAndStore(logLine)
}
TCP 能保证顺序和完整性，UDP 需注意报文截断（通常限制在 65507 字节以内）。
日志解析：从原始文本到结构化数据
收到的日志通常是纯文本，需解析为 JSON 等结构化格式以便存储和查询。
常见日志格式如：
2024-04-05 10:00:00 INFO User{id=1001} logged in from 192.168.1.100
使用正则表达式提取字段：
pattern := `(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}) (\w+) (.+)`
re := regexp.MustCompile(pattern)
matches := re.FindStringSubmatch(logLine)
if len(matches) == 4 {
timestamp := matches[1]
level := matches[2]
message := matches[3]
structured := map[string]interface{}{
"time": timestamp,
"level": level,
"msg": message,
}
// 输出到文件、ES、Kafka 等
json.NewEncoder(os.Stdout).Encode(structured)
}
也可结合 logrus 或 zap 等日志库，在客户端直接结构化后序列化为 JSON 发送，简化服务端解析逻辑。
增强功能与最佳实践
实际应用中可加入以下改进：
- 使用 TLS 加密 TCP 传输，保障日志安全
- 添加心跳机制检测客户端存活（TCP）
- 服务端使用 Ring Buffer 或 Channel 缓冲日志，防止突发流量阻塞
- 将解析后的日志写入 Kafka、Elasticsearch 或本地文件
- 对 UDP 增加简单校验（如前缀标记），区分日志来源
- 统一时间戳格式，避免时区混乱
基本上就这些。Golang 凭借其简洁的网络模型和高性能，能轻松实现稳定可靠的日志传输管道。根据可靠性与性能需求选择 TCP 或 UDP，并在服务端做好解析与落盘，即可构建一个轻量级集中日志系统。
