python读取文件内容常用open()函数配合read()、readline()或readlines()方法，但处理超大文件时需优化内存使用。1. 使用open()函数可直接读取文件，如with open('your_file.txt', 'r') as f: content = f.read()；2. 逐行读取适用于大文件，通过for循环逐行处理，减少内存占用，如with open('large_file.txt', 'r') as f: for line in f: print(line.strip())；3. 迭代器方式利用iter(f.readline, '')创建迭代对象，实现逐行读取，更简洁高效；4. mmap模块将文件映射到内存，适合随机访问和高效处理超大文件，如用mmap.mmap(f.fileno(), 0)进行二进制操作并搜索字符串；5. 其他技巧包括设置缓冲区大小、多线程/多进程处理及使用专用库如csv等，具体方法应根据文件大小与任务需求选择。
读取文件内容，在Python里简直是家常便饭。最直接的方法就是用open()函数打开文件，然后用read()、readline()或者readlines()来读取。但如果是超大文件，一次性读入内存可能会让你的电脑直接卡死。所以，就需要一些更聪明的办法来优化内存使用。
解决方案
最常用的方法就是逐行读取，或者使用迭代器，再或者用mmap模块。下面详细说说这些方法。
立即学习“Python免费学习笔记（深入）”；
如何使用 open() 函数读取文件内容？
open()函数是Python内置的，使用起来非常简单。
with open('your_file.txt', 'r') as f:
content = f.read()
print(content)这段代码会打开名为your_file.txt的文件，并以只读模式('r')读取全部内容。with语句确保文件在使用完毕后自动关闭，避免资源泄露。你也可以用f.readline()一行一行地读，或者用f.readlines()把所有行读到一个列表里。
但是，如果文件特别大，比如几个G，一次性读到内存里肯定不行。这时候就要换个思路。
如何逐行读取大文件，避免内存溢出？
逐行读取是处理大文件的常用技巧。它每次只读取文件的一行，处理完之后再读取下一行，这样可以显著减少内存占用。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
with open('large_file.txt', 'r') as f:
for line in f:
# 处理每一行的数据
print(line.strip()) # 去掉行尾的换行符这段代码会逐行读取large_file.txt，并在控制台打印每一行。line.strip()是为了去除行尾的换行符，让输出更干净。
如何使用迭代器读取文件内容？
open()函数返回的文件对象本身就是一个迭代器。这意味着你可以直接在for循环中使用它，而不需要显式地调用readline()。
with open('large_file.txt', 'r') as f:
for line in iter(f.readline, ''):
# 处理每一行的数据
print(line.strip())这里的iter(f.readline, '')创建了一个迭代器，它会不断调用f.readline()，直到返回空字符串''为止。这种方法和上面的逐行读取效果一样，但更简洁。
如何使用 mmap 模块处理超大文件？
mmap模块允许你将文件的一部分映射到内存中，就像操作内存一样操作文件。这是一种非常高效的方法，尤其适合随机访问文件内容。
import mmap
with open('very_large_file.txt', 'r+b') as f:
mm = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)
# 搜索字符串
if mm.find(b'your_string') != -1:
print("Found!")
mm.close()这段代码首先以二进制读写模式('r+b')打开文件。然后，mmap.mmap()将整个文件映射到内存中。mm.find(b'your_string')在映射的内存中搜索字符串'your_string'。注意，这里需要使用字节串(b'your_string')，因为mmap操作的是二进制数据。最后，mm.close()关闭映射。
mmap的优点是速度快，内存效率高。缺点是使用起来稍微复杂一些，需要注意文件打开模式和数据类型。另外，mmap对文件的修改是直接写入磁盘的，需要谨慎操作。
还有哪些其他优化技巧？
除了上面提到的方法，还有一些其他的优化技巧可以提高文件读取的效率。
-
使用缓冲区：
open()函数可以指定缓冲区大小。适当增加缓冲区大小可以减少磁盘I/O次数，提高读取速度。 - 使用多线程/多进程： 如果你的任务可以并行处理，可以使用多线程或多进程来加速文件读取。
-
使用更高效的库： 对于特定类型的文件，比如CSV文件，可以使用
csv库来更高效地读取数据。
选择哪种方法取决于你的具体需求和文件大小。如果只是简单地读取小文件，read()或readlines()就足够了。如果需要处理超大文件，逐行读取或mmap是更好的选择。
