本文介绍在go语言中向文件写入邮箱数据时避免重复的实用方法，通过内存去重与文件级校验结合，确保输出文件中每条邮箱唯一。
本文介绍在go语言中向文件写入邮箱数据时避免重复的实用方法，通过内存去重与文件级校验结合，确保输出文件中每条邮箱唯一。
在处理邮箱清洗任务时，仅靠逐行写入无法防止重复——尤其当输入源本身含重复项，或不同输入文件包含相同邮箱时。最直接且高效的解决方案是在写入前进行去重校验，而非依赖事后清理。以下是推荐的三层防护策略：
✅ 1. 内存级去重（推荐首选）
使用 map[string]struct{} 实现 O(1) 查重，兼顾性能与简洁性：
seen := make(map[string]struct{})
scanner := bufio.NewScanner(r)
writer := bufio.NewWriter(w)
for scanner.Scan() {
email := strings.TrimSpace(scanner.Text())
// 首次校验：原始格式
if !correctEmail.MatchString(email) {
// 清洗：去空格 + 小写标准化（邮箱域名不区分大小写）
email = strings.ToLower(strings.ReplaceAll(email, " ", ""))
if !correctEmail.MatchString(email) {
continue // 无效邮箱，跳过
}
}
// 关键去重：检查是否已处理过该邮箱
if _, exists := seen[email]; exists {
continue // 已存在，跳过写入
}
seen[email] = struct{}{}
// 写入标准化后的唯一邮箱
_, err := writer.WriteString(email + "\n")
if err != nil {
return err
}
}
if err := writer.Flush(); err != nil {
return err
}? 注意：此处采用 strings.ToLower() 是因邮箱本地部分（@前）虽理论上区分大小写，但主流服务商（Gmail、Outlook等）均忽略大小写；若业务要求严格区分，请移除 .ToLower() 并明确约定规范。
⚠️ 2. 文件级去重（适用于超大文件或需跨进程去重）
若内存受限或需保证多次运行间全局唯一（如多批次处理），可在写入前读取目标文件校验：
// 在循环前一次性读取已有邮箱（适合中小文件）
existing, err := readEmailsFromFile(outputFilePath)
if err != nil && !os.IsNotExist(err) {
return err
}
seen := make(map[string]struct{})
for _, e := range existing {
seen[strings.ToLower(strings.ReplaceAll(e, " ", ""))] = struct{}{}
}
// 后续逻辑同上，写入前查 seen map⚠️ 警告：对大文件（>10MB）频繁全量读取会显著降低性能，此时建议改用数据库或布隆过滤器（Bloom Filter）优化。
? 3. 增强健壮性的补充实践
- 统一标准化规则：始终对邮箱执行 TrimSpace → ReplaceAll(" ", "") → ToLower，避免 "a@b.com" 与 "A@B.COM" 被视为不同；
- 错误处理强化：scanner.Err() 应在循环后检查，捕获读取中断异常；
- 原子写入保障：使用临时文件 + os.Rename() 替代直接覆盖，防止写入中断导致数据损坏。
综上，内存哈希去重是绝大多数场景的最优解——零磁盘IO开销、代码简洁、线性时间复杂度。仅当面临分布式或多进程并发写入时，才需引入外部存储（如SQLite轻量库）协调全局状态。
