因为内置open()是同步阻塞调用,会卡住事件循环,导致协程无法并发;aiofiles通过线程池将文件I/O移出事件循环,提供真正异步接口,但需注意mode、encoding等参数陷阱及并发写入的安全控制。

为什么不能直接用内置open()配合async/await
因为内置的 open() 是同步阻塞调用,即使包在 async def 函数里,也会让整个事件循环卡住。你看到 CPU 占用低、但协程实际没并发——所有读写还是串行排队。aiofiles 的作用就是提供真正非阻塞的文件 I/O 封装,底层通过线程池(默认 concurrent.futures.ThreadPoolExecutor)把系统调用移出事件循环。
aiofiles.open() 的常用参数和陷阱
aiofiles.open() 接口和内置 open() 高度一致,但有几点必须注意:
-
mode必须显式指定,比如"r"、"w+";不支持"U"(通用换行符模式),会报ValueError -
encoding在文本模式下必须传,否则返回bytes,容易和预期不符(比如想读 str 却拿到 bytes) - 不支持
newline参数控制换行符处理,换行符行为由底层系统决定,跨平台时要小心 - 不能复用同一个
aiofiles.file.AsyncBufferedIOBase对象多次await file.read()—— 它不像同步文件对象那样自动维护偏移,每次读都从当前 offset 开始,但不会自动更新(除非用await file.seek())
并发读多个大文件的正确写法
常见错误是用 asyncio.gather() 直接包一堆 aiofiles.open(),结果触发大量同时打开文件,可能超出系统限制(OSError: [Errno 24] Too many open files)。稳妥做法是加限流:
import asyncio import aiofiles <p>async def read_one(path): async with aiofiles.open(path, "r", encoding="utf-8") as f: return await f.read(1024) # 避免一次性读太大内存</p><p>async def read_many(paths): sem = asyncio.Semaphore(10) # 同时最多10个文件句柄 async def guarded_read(p): async with sem: return await read_one(p) return await asyncio.gather(*[guarded_read(p) for p in paths])
注意:不要在 async with 外提前 await aiofiles.open(),否则文件对象可能在进入上下文前就被 GC 关闭。
立即学习“Python免费学习笔记(深入)”;
写入时如何避免内容错乱或丢失
多个协程并发写同一文件是危险的,aiofiles 不做任何锁保护。如果你需要并行写入不同文件,没问题;但写同一个文件,必须手动协调:
- 用
asyncio.Lock()包裹整个写操作(适合写入量小、频率低) - 改用追加模式(
"a")+ 每次写完await file.flush(),但无法保证顺序 - 更可靠的做法是把所有待写数据先收集到内存或队列,再由单个 writer 协程串行落盘
另外,aiofiles 的 .write() 不保证原子性,也不等同于系统 write(2) 调用;它只是把数据交给缓冲区,真正刷盘靠 flush() 或关闭时自动触发——这点和同步文件一样,别误以为“异步”就等于“立即落盘”。
真正难的不是语法,而是理解它只是把阻塞调用挪到线程池,并没改变文件系统的并发语义。磁盘 I/O 本身没法像网络那样天然高并发,盲目堆协程数量反而容易触发系统级瓶颈。


















