讲师中心 微信公众号

工具推荐

视频效率加速
AniShort
AniShort

AI短剧协同制作平台

Seko
Seko

AI短剧一键生成成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

剧云
剧云

中文短剧剧本制作平台

并发读取文件并行处理:Go 语言 worker pool 实战教程

小涛小哥_4554

小涛小哥_4554

发布时间:2025-12-27 21:35:02

|

473人浏览过

|

来源于php中文网

原创

并发读取文件并行处理:Go 语言 worker pool 实战教程

本文详解如何在 go 中安全实现“并发读取文件 + 并行处理行数据”,解决因通道关闭时机不当导致的死锁问题,通过分离读取、处理与聚合三阶段,并合理使用 goroutine 和 sync.waitgroup,构建健壮的无锁(mutex-free)流水线。

在 Go 中实现“并发读取文件并行处理”时,一个常见误区是将文件读取、任务分发和结果收集全部放在主 goroutine 中同步执行——这极易引发死锁。正如示例代码所示:主协程在 close(jobs) 后调用 wg.Wait(),但此时 worker 协程仍在阻塞等待 jobs 通道(虽已关闭,但需确保所有 worker 已退出),而主协程又未消费 results 通道,导致 results

核心原则:职责分离(Separation of Concerns)
应将流程拆分为三个独立并发阶段:

  • Producer(生产者):单独 goroutine 负责逐行读取文件 → 写入 jobs 通道 → 完成后关闭 jobs;
  • Workers(工作池):多个 goroutine 从 jobs 读取、执行正则匹配 → 将结果(如 1)写入 results;
  • Collector(收集器):单独 goroutine 监听 wg.Wait() 完成信号 → 关闭 results;主 goroutine 则安全地 range 消费 results。

以下是修正后的完整实现(关键改动已加注释):

AI舌诊面诊问诊医疗系统+诊疗商城系统源码
AI舌诊面诊问诊医疗系统+诊疗商城系统源码

AI 舌诊面诊问诊医疗系统 + 诊疗商城系统源码是一套结合 AI 辅助诊断与商品转化的健康类程序,基于浩创云、ThinkPHP(PHP)开发,支持微信服务号与 H5 端,适合做中医舌诊面诊问答、健康建议推送以及配套诊疗商品的运营。

下载
func telephoneNumbersInFile(path string) int {
    file := strings.NewReader(path)
    telephone := regexp.MustCompile(`\(\d+\)\s\d+-\d+`)

    jobs := make(chan string, 100)   // 建议缓冲,避免 producer 因 consumer 慢而阻塞
    results := make(chan int, 100)

    wg := new(sync.WaitGroup)

    // 1️⃣ 启动 Worker 池(3 个)
    for w := 1; w <= 3; w++ {
        wg.Add(1)
        go matchTelephoneNumbers(jobs, results, wg, telephone)
    }

    // 2️⃣ 生产者:在新 goroutine 中读取文件并关闭 jobs
    go func() {
        scanner := bufio.NewScanner(file)
        for scanner.Scan() {
            jobs <- scanner.Text()
        }
        close(jobs) // ✅ 关键:必须在 goroutine 中关闭,避免阻塞主流程
    }()

    // 3️⃣ 收集器:等待所有 worker 结束后关闭 results
    go func() {
        wg.Wait()
        close(results) // ✅ 确保 results 可被 range 安全遍历
    }()

    // 4️⃣ 主 goroutine:安全聚合结果
    counts := 0
    for v := range results { // ✅ range 自动在 channel 关闭后退出
        counts += v
    }
    return counts
}

func matchTelephoneNumbers(jobs <-chan string, results chan<- int, wg *sync.WaitGroup, telephone *regexp.Regexp) {
    defer wg.Done()
    for line := range jobs { // ✅ range 自动在 jobs 关闭后退出
        if telephone.MatchString(line) {
            results <- 1
        }
    }
}

关键注意事项:

  • ? 通道缓冲很重要:jobs 和 results 均设为缓冲通道(如 make(chan T, 100)),可显著提升吞吐量,避免生产者/消费者因瞬时速度差而阻塞;
  • ? 永远不要在主 goroutine 中 close() 后立即 wg.Wait():这会形成竞态,必须由独立 goroutine 触发 close(results);
  • ? 无需 mutex:本方案完全基于通道通信(CSP 模型),天然线程安全,符合 Go “不要通过共享内存来通信”的哲学;
  • ? 扩展性提示:若需批量处理(如每次传入 []string),只需将 jobs 类型改为 chan []string,并在 Producer 中按需切片发送,Worker 内部遍历切片即可——逻辑不变。

此模式是 Go 中构建高并发 I/O 处理流水线的标准范式,适用于日志分析、ETL、配置解析等场景。掌握它,你便拥有了驾驭 Go 并发本质的一把关键钥匙。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7479

2023.08.02

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4838

2023.08.10

go语言 数组和切片
go语言 数组和切片

本专题整合了go语言数组和切片的区别与含义,阅读专题下面的文章了解更多详细内容。

2152

2025.09.03

Python数据处理流水线与ETL工程实战
Python数据处理流水线与ETL工程实战

本专题聚焦 Python 在数据工程场景下的实际应用,系统讲解 ETL 流程设计、数据抽取与清洗、批处理与增量处理方案,以及数据质量校验与异常处理机制。通过构建完整的数据处理流水线案例,帮助开发者掌握数据工程中的性能优化思路与工程化规范,为后续数据分析与机器学习提供稳定可靠的数据基础。

480

2026.02.25

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

0

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

0

2026.11.12

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

0

2026.11.12

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

120

2026.11.06

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

80

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go-Zero HTTP服务开发指南
Go-Zero HTTP服务开发指南

共0课时 | 0人学习

Go-Zero goctl安装与使用手册
Go-Zero goctl安装与使用手册

共0课时 | 0人学习

Go-Zero框架快速开始指南
Go-Zero框架快速开始指南

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn