讲师中心 微信公众号

工具推荐

视频效率加速
AniShort
AniShort

AI短剧协同制作平台

立刻MV
立刻MV

低成本歌曲 MV、视频生成

剧云
剧云

中文短剧剧本制作平台

Seko
Seko

AI短剧一键生成成片

并发读取文件并行处理:Go 语言中基于通道与工作池的正确实践

小涛小哥_4554

小涛小哥_4554

发布时间:2025-12-27 21:04:01

|

936人浏览过

|

来源于php中文网

原创

并发读取文件并行处理:Go 语言中基于通道与工作池的正确实践

本文详解如何在 go 中安全、高效地实现“并发读取文件 + 并行处理”,重点解决因通道未关闭导致的 goroutine 死锁问题,并提供可扩展的 worker pool 设计模式。

在 Go 中实现“并发读取文件”常被误解为多 goroutine 同时读取同一文件——实际上,文件 I/O 本身通常不需(也不应)并发读取;真正的并发价值在于:单协程顺序读取(保证顺序与资源安全),多协程并行处理(提升 CPU 密集型任务吞吐)。你提供的代码已抓住这一核心思想,但卡在了 goroutine 协作的同步细节上:wg.Wait() 阻塞在主线程,而 results 通道未关闭,导致 for v := range results 永远等待,引发死锁。

关键修正在于 解耦三类职责:
✅ 生产者(Producer):单独 goroutine 负责扫描文件 → 写入 jobs 通道 → 完成后关闭 jobs;
✅ 工作者(Workers):多个 goroutine 从 jobs 读取、处理、写入 results;
✅ 消费者(Consumer):单独 goroutine 等待所有 workers 完成(wg.Wait())→ 关闭 results → 主线程安全遍历。

以下是重构后的完整、可运行示例(已移除冗余注释,增强健壮性):

AI舌诊面诊问诊医疗系统+诊疗商城系统源码
AI舌诊面诊问诊医疗系统+诊疗商城系统源码

AI 舌诊面诊问诊医疗系统 + 诊疗商城系统源码是一套结合 AI 辅助诊断与商品转化的健康类程序,基于浩创云、ThinkPHP(PHP)开发,支持微信服务号与 H5 端,适合做中医舌诊面诊问答、健康建议推送以及配套诊疗商品的运营。

下载
package main

import (
    "bufio"
    "fmt"
    "regexp"
    "strings"
    "sync"
)

func telephoneNumbersInFile(path string) int {
    file := strings.NewReader(path)
    telephone := regexp.MustCompile(`\(\d+\)\s\d+-\d+`)

    jobs := make(chan string, 10)   // 缓冲通道避免生产者阻塞
    results := make(chan int, 10)

    wg := sync.WaitGroup{}

    // 启动 3 个 worker
    for w := 1; w <= 3; w++ {
        wg.Add(1)
        go func() {
            defer wg.Done()
            for line := range jobs {
                if telephone.MatchString(line) {
                    results <- 1
                }
            }
        }()
    }

    // 生产者:独立 goroutine 扫描并发送数据
    go func() {
        scanner := bufio.NewScanner(file)
        for scanner.Scan() {
            jobs <- scanner.Text()
        }
        close(jobs) // 关键!通知 workers 输入结束
    }()

    // 消费者:等待 workers 结束后关闭 results
    go func() {
        wg.Wait()
        close(results) // 关键!使 range results 可正常退出
    }()

    // 主线程:安全收集结果
    counts := 0
    for result := range results {
        counts += result
    }
    return counts
}

func main() {
    const input = "Foo\n(555) 123-3456\nBar\n(800) 999-0000\nBaz"
    fmt.Println("Found", telephoneNumbersInFile(input), "phone numbers") // 输出: Found 2 phone numbers
}

✅ 注意事项与进阶建议:

  • 缓冲通道很重要:jobs 和 results 使用缓冲(如 make(chan T, 10))可显著减少 goroutine 阻塞,尤其在 worker 处理速度波动时;
  • 无需显式 sync.WaitGroup 也可实现:若改用“计数驱动”模型(例如生产者先发总行数 n 到 countCh,消费者只收 n 个结果),可完全避免 sync 包,但会增加协议复杂度;
  • 扩展至批量处理:将 jobs 类型改为 chan []string,在生产者中按需 scanner.Scan() 多次后打包发送,worker 内部用 range batch 处理,大幅提升正则匹配的局部性;
  • 错误处理不可省略:真实场景中需检查 scanner.Err(),并在 jobs 发送前做空行/编码过滤;
  • 资源释放提醒:若处理真实文件,记得用 defer file.Close()(本例用 strings.Reader 无需关闭)。

这套模式是 Go 并发编程的经典范式——通过 channel 明确数据流边界,用 goroutine 划分关注点,以 close 作为协作信号。掌握它,你就能从容应对日志分析、ETL 流水线、配置批量校验等绝大多数 I/O + 计算混合场景。

热门AI工具

更多
创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7479

2023.08.02

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4838

2023.08.10

Golang channel原理
Golang channel原理

本专题整合了Golang channel通信相关介绍,阅读专题下面的文章了解更多详细内容。

454

2025.11.14

golang channel相关教程
golang channel相关教程

本专题整合了golang处理channel相关教程,阅读专题下面的文章了解更多详细内容。

639

2025.11.17

Go语言 channel用法详解
Go语言 channel用法详解

本专题整合了go语言中channel的各种使用方法,阅读专题下面的文章了解更多详细步骤。

523

2026.04.03

Python数据处理流水线与ETL工程实战
Python数据处理流水线与ETL工程实战

本专题聚焦 Python 在数据工程场景下的实际应用,系统讲解 ETL 流程设计、数据抽取与清洗、批处理与增量处理方案,以及数据质量校验与异常处理机制。通过构建完整的数据处理流水线案例,帮助开发者掌握数据工程中的性能优化思路与工程化规范,为后续数据分析与机器学习提供稳定可靠的数据基础。

480

2026.02.25

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

20

2026.11.12

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

0

2026.11.12

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

20

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Go-Zero HTTP服务开发指南
Go-Zero HTTP服务开发指南

共0课时 | 0人学习

Go-Zero goctl安装与使用手册
Go-Zero goctl安装与使用手册

共0课时 | 0人学习

Go-Zero框架快速开始指南
Go-Zero框架快速开始指南

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn