
本文介绍一种轻量、可靠的方法,使用独立的偏移记录文件(如 last_offset.txt)跟踪已处理的日志位置,使 go 脚本在重复执行时仅处理新增行,从而精准避免重复告警,无需数据库。
本文介绍一种轻量、可靠的方法,使用独立的偏移记录文件(如 last_offset.txt)跟踪已处理的日志位置,使 go 脚本在重复执行时仅处理新增行,从而精准避免重复告警,无需数据库。
在 Go 中实现日志轮询与去重告警,关键在于状态持久化——即记住上一次脚本运行时已处理到日志文件的哪个位置。对于追加写入(append-only)的经典服务日志(如 Nginx、Syslog 或应用自定义文本日志),最简洁高效的方案是记录文件末尾字节偏移量(offset),而非行号或内容哈希。原因在于:行号易因日志轮转(log rotation)失效;内容匹配(如逐行 MD5)开销大且无法应对重复日志条目;而字节偏移天然稳定、低存储、高精度,且与 os.Seek() 和 bufio.Scanner 完美配合。
以下是一个生产就绪的 Go 示例片段:
package main
import (
"bufio"
"fmt"
"os"
"strconv"
"strings"
)
const (
offsetFile = "last_offset.txt"
logFile = "/var/log/app.log"
)
func main() {
// 1. 读取上次保存的偏移量
offset, err := readOffset()
if err != nil {
fmt.Printf("警告:无法读取偏移文件,将从头扫描:%v\n", err)
offset = 0
}
// 2. 打开日志文件,定位到 offset
f, err := os.Open(logFile)
if err != nil {
panic(fmt.Sprintf("无法打开日志文件: %v", err))
}
defer f.Close()
if _, err := f.Seek(offset, 0); err != nil {
panic(fmt.Sprintf("无法跳转到偏移位置: %v", err))
}
// 3. 逐行扫描新增内容
scanner := bufio.NewScanner(f)
for scanner.Scan() {
line := scanner.Text()
if strings.Contains(line, "[ERROR]") || strings.Contains(line, "panic") {
triggerAlert(line) // 自定义告警逻辑(如发邮件、Webhook)
}
}
// 4. 更新并保存新偏移量(文件当前读取结束位置)
newOffset, _ := f.Seek(0, 2) // Seek to end
if err := writeOffset(newOffset); err != nil {
fmt.Printf("警告:无法保存新偏移量:%v\n", err)
}
}
func readOffset() (int64, error) {
data, err := os.ReadFile(offsetFile)
if err != nil {
return 0, err
}
offset, err := strconv.ParseInt(strings.TrimSpace(string(data)), 10, 64)
if err != nil {
return 0, fmt.Errorf("偏移文件格式错误: %w", err)
}
return offset, nil
}
func writeOffset(offset int64) error {
return os.WriteFile(offsetFile, []byte(strconv.FormatInt(offset, 10)), 0644)
}
func triggerAlert(line string) {
fmt.Printf("[ALERT] %s\n", line)
// 此处集成 Slack/Email/PagerDuty 等实际通知逻辑
}⚠️ 重要注意事项:
-
日志轮转兼容性:该方案默认假设日志为追加模式。若使用
logrotate等工具,需配置copytruncate(保留原文件句柄)或监听inotify事件并在检测到文件被重命名/重建时重置偏移量(例如通过os.Stat().Inode对比或检查os.IsNotExist后清空 offset 文件)。 -
原子性保障:
writeOffset()应使用os.WriteFile(内部为原子写入),避免os.Create + Write导致的中间态损坏。 -
并发安全:单实例定时运行(如 cron)无需加锁;若需多实例协同,请改用轻量协调机制(如 Redis SETNX 或文件锁
syscall.Flock)。 -
资源清理:建议定期归档旧 offset 文件(如按日期命名
last_offset_20240501.txt),便于审计与故障回溯。
综上,基于字节偏移的持久化方案以极小复杂度换取了高可靠性与可维护性,是 Go 日志监控场景中「恰到好处」的工程实践。

















