不能直接用open()做异步文件操作,因为它是阻塞式系统调用,会卡住asyncio事件循环;aiofiles通过线程池将阻塞I/O“伪装”为awaitable对象,必须使用其封装接口(如aiofiles.open()并await read/write),且需注意模式、缓冲、编码等参数限制。

为什么不能直接用 open() 做异步文件操作
aiofiles 不是给 open() 加个 async 就能用的——标准库的 open() 是阻塞式系统调用,哪怕包在 async def 里,也会让整个事件循环卡住。常见错误现象是:写了 async def read_file(): return open(...).read(),结果其他协程全被拖慢,asyncio.sleep(0) 都救不回来。
根本原因是底层 read()、write() 等系统调用会进入内核态并等待 I/O 完成,而 Python 的 asyncio 默认不接管这些调用。aiofiles 的作用,就是用线程池(默认 concurrent.futures.ThreadPoolExecutor)把阻塞操作“伪装”成可等待对象,避免阻塞事件循环。
所以必须用 aiofiles 提供的封装接口,而不是试图改造内置 open():
-
aiofiles.open()返回一个支持await的文件对象,行为类似open(),但所有 I/O 方法都返回awaitable - 不能对它调用
.readline()后直接用,得await f.readline() - 不支持
for line in f:这种同步迭代,得用async for line in f:(仅限文本模式且启用了buffering=1或行缓冲)
aiofiles.open() 的常用参数和陷阱
签名和内置 open() 高度一致,但有几处关键差异必须注意:
立即学习“Python免费学习笔记(深入)”;
-
mode支持'r'、'w'、'rb'、'wb'等,但不支持'x'(独占创建)——会抛ValueError: invalid mode: 'x' -
encoding只在文本模式下生效;二进制模式下传 encoding 会被忽略,但不会报错 -
buffering默认为-1(系统默认),但若设为0(无缓冲),会触发OSError: Can't have unbuffered text I/O—— 二进制模式才能用buffering=0 - 不支持
newline参数控制换行符处理(Python 3.12+ 的 aiofiles 已部分支持,但兼容性差,建议回避)
典型安全写法:
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构,支持CLI、API、爬虫、Bot、Django等多种项目类型,包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
import aiofiles
<h1>✅ 推荐:显式指定 encoding + 文本模式</h1><p>async with aiofiles.open('data.txt', mode='r', encoding='utf-8') as f:
content = await f.read()</p><h1>✅ 二进制安全读取(不依赖编码)</h1><p>async with aiofiles.open('image.png', mode='rb') as f:
data = await f.read()
异步读大文件时别用 await f.read()
直接 await f.read() 会把整个文件一次性加载进内存,失去异步意义,还可能 OOM。真实场景中,应该按块或按行流式处理:
- 按固定大小读块:
await f.read(8192),循环直到返回空 bytes/string - 按行读(文本模式):
async for line in f:—— 注意这要求aiofiles.open(..., buffering=1)或newline参数配合,否则可能卡住或丢行 - 写入同理:避免
await f.write(huge_string),改用分批await f.write(chunk)
示例:安全读取超大日志文件
async with aiofiles.open('access.log', mode='r', encoding='utf-8', buffering=1) as f:
async for line in f:
if 'ERROR' in line:
print(line.strip())
这里 buffering=1 启用行缓冲,让 async for 能逐行触发;没这个参数,async for 可能一直等不到换行符而挂起。
并发读写多个文件时要注意系统限制
aiofiles 默认复用全局线程池(asyncio.to_thread 底层也是它),大量并发 aiofiles.open() 会快速耗尽线程数(默认 max_workers=5),导致后续 I/O 排队,吞吐不升反降。
解决方式只有两个:
- 显式创建更大线程池并传给
aiofiles.os.wrap()(底层机制),但较复杂,一般不推荐 - 更实际的做法:加限流 —— 用
asyncio.Semaphore(10)控制同时打开的文件数,比硬调线程池更可控
容易被忽略的一点:Linux 下单进程默认最多打开 1024 个文件描述符(ulimit -n),并发开几百个文件很容易触发 OSError: [Errno 24] Too many open files。务必检查并合理设置上限,或用上下文管理确保及时关闭。

















