讲师中心 微信公众号
AI工具推荐 视频效率加速

C#文件日志异步批处理 C#如何将日志先写入内存队列再批量写入文件

夜辰小哥_1260

夜辰小哥_1260

发布时间:2026-02-23 02:17:31

|

799人浏览过

|

来源于php中文网

原创

高并发下File.AppendAllText性能差因每次调用触发完整磁盘I/O,1000次调用≈1000次系统调用,导致线程阻塞、CPU空转;正确解法是内存队列+单消费者批量刷盘。

c#文件日志异步批处理 c#如何将日志先写入内存队列再批量写入文件

为什么直接 File.AppendAllText 在高并发下会拖垮性能

因为每次调用都触发一次磁盘 I/O,操作系统要加锁、寻道、刷缓存——哪怕日志只有几字节,也得走完整文件系统栈。1000 次调用 ≈ 1000 次系统调用,线程频繁阻塞,CPU 空转等 IO,吞吐直接掉到几百条/秒以下。

  • 真实场景中,Task.Run(() => File.AppendAllText(...)) 只是把阻塞挪到后台线程,没减少 IO 次数,还可能堆积大量待执行任务导致内存暴涨
  • 用 StreamWriter 配合 AutoFlush = false 能缓冲,但多线程写同一个实例会丢日志或抛 ObjectDisposedException
  • 真正解法不是“更快地写文件”,而是“少写文件”:让日志先落内存队列,再由单个消费者线程攒够一批(比如 100 条或 100ms)统一刷盘

ConcurrentQueue<string></string> + 后台 Task 是最简可行方案

不用引入 Microsoft.Extensions.Logging 或第三方库也能快速落地,核心就三件事:入队、消费、防崩。

C#
C#

"避开 C# 常见错误——空陷阱、异步陷阱、LINQ 陷阱及资源泄漏。"

下载
  • 日志写入方只做 _queue.Enqueue(logLine),零阻塞、无锁竞争,ConcurrentQueue 原生线程安全
  • 后台 Task.Run(async () => { while (!_cts.IsCancellationRequested) { await FlushBatchAsync(); await Task.Delay(100, _cts); } }) 控制节奏
  • 必须用 CancellationToken 管理生命周期:应用退出时主动 await FlushBatchAsync() 清空剩余日志,否则最后 100ms 的日志就丢了
  • 别用 Thread.Sleep,它不响应取消;Task.Delay 支持 CancellationToken,且不会阻塞线程

批量写文件时 File.AppendAllLines 比循环 File.AppendAllText 快 5–10 倍

前者底层复用同一个 FileStream 打开一次、写完关闭;后者每行都打开/关闭文件,Windows 下尤其明显。

  • 错误写法:foreach (var line in batch) File.AppendAllText(path, line + "\n"); → 每行一次 CreateFile 系统调用
  • 正确写法:File.AppendAllLines(path, batch); → 仅一次打开,内部用 StreamWriter 批量写入
  • 如果需要严格顺序(比如带时间戳的日志),注意 ConcurrentQueue.TryDequeue 是 FIFO,但多生产者入队时,逻辑时间序 ≠ 入队物理序;若要求绝对时间序,得在日志对象里记 DateTime.UtcNow,写文件前按该字段排序(一般不需要)
  • 单次写入别超 1MB,否则 AppendAllLines 内部数组分配过大,GC 压力陡增;建议单批控制在 500 行以内

容易被忽略的崩溃点:文件被占用、磁盘满、路径不存在

内存队列再稳,落地环节一出错,日志就静默丢失——而且毫无提示。

  • 写文件前务必检查:Directory.CreateDirectory(Path.GetDirectoryName(path)),否则 AppendAllLines 直接抛 DirectoryNotFoundException
  • 捕获 IOException 和 UnauthorizedAccessException:常见于日志目录被其他进程独占锁定(如 Excel 正在打开日志 CSV)、UAC 权限不足、磁盘已满
  • 失败后别重试原路径,应降级写入临时位置(如 Path.Combine(Path.GetTempPath(), "fallback.log")),并记录一条“主日志写入失败”的元日志
  • 队列本身也要设上限(如 new ConcurrentQueue<string>().Count > 10000</string>),超限时丢弃旧日志或触发告警,避免 OOM
事情说清了就结束。真正的难点不在代码几行,而在于磁盘不可靠、路径权限多变、还有人会双击打开正在写的日志文件。

热门AI工具

更多
Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7259

2023.08.02

counta和count的区别
counta和count的区别

Count函数用于计算指定范围内数字的个数,而CountA函数用于计算指定范围内非空单元格的个数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3748

2023.11.20

while的用法
while的用法

while的用法是“while 条件: 代码块”,条件是一个表达式,当条件为真时,执行代码块,然后再次判断条件是否为真,如果为真则继续执行代码块,直到条件为假为止。本专题为大家提供while相关的文章、下载、课程内容,供大家免费下载体验。

354

2023.09.25

php中foreach用法
php中foreach用法

本专题整合了php中foreach用法的相关介绍,阅读专题下面的文章了解更多详细教程。

838

2025.12.04

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

6747

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2788

2023.08.10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

6747

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2788

2023.08.10

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn