答案：Python通过csv模块读写CSV文件，需注意编码、分隔符和引号处理；读取时用csv.reader配合with open确保文件正确关闭，指定encoding避免乱码；写入时使用csv.writer并设置newline=''防止空行；处理特殊字符可配置delimiter、quotechar和quoting参数；对于大文件，可采用逐行迭代或pandas分块读取chunksize来降低内存消耗。
Python读写CSV文件，简单来说，就是利用
csv模块，把数据变成字符串然后写入，或者把字符串解析成数据。这事儿听起来简单，但细节不少，尤其是处理编码、分隔符、引号这些问题的时候。
解决方案
Python通过内置的
csv模块可以轻松地读取和写入CSV（逗号分隔值）文件。以下是基本的操作指南：
1. 读取CSV文件：
import csv
def read_csv_file(filename):
"""读取CSV文件并返回数据列表。"""
data = []
try:
with open(filename, 'r', encoding='utf-8') as csvfile:
csv_reader = csv.reader(csvfile)
header = next(csv_reader) # 跳过标题行，如果存在的话
for row in csv_reader:
data.append(row)
except FileNotFoundError:
print(f"文件未找到: {filename}")
except Exception as e:
print(f"读取文件时发生错误: {e}")
return data
# 示例用法
csv_data = read_csv_file('example.csv')
if csv_data:
for row in csv_data:
print(row)
这里用了
with open()，保证文件在使用完后会自动关闭，是个好习惯。
encoding='utf-8'是为了处理中文或其他特殊字符，避免乱码。
csv.reader会把每一行变成一个列表。
next(csv_reader)跳过表头，这个根据你的文件有没有表头来决定要不要用。
立即学习“Python免费学习笔记（深入）”；
2. 写入CSV文件：
import csv
def write_csv_file(filename, data, header=None):
"""将数据写入CSV文件。"""
try:
with open(filename, 'w', newline='', encoding='utf-8') as csvfile:
csv_writer = csv.writer(csvfile)
if header:
csv_writer.writerow(header) # 写入标题行
csv_writer.writerows(data) # 写入数据行
except Exception as e:
print(f"写入文件时发生错误: {e}")
# 示例用法
data_to_write = [
['Alice', 25, 'Engineer'],
['Bob', 30, 'Doctor'],
['Charlie', 22, 'Student']
]
header = ['Name', 'Age', 'Occupation'] # 可选
write_csv_file('output.csv', data_to_write, header)'w'模式是写入模式，会覆盖原有文件。
newline=''是为了防止写入时出现空行，在Windows系统上尤其重要。
csv.writer负责把数据写入文件。
writerow写入一行，
writerows写入多行。
如何处理CSV文件中的特殊字符？
CSV文件里经常会有逗号、引号之类的特殊字符，这些字符如果处理不好，会导致数据解析错误。
csv模块提供了
quoting和
quotechar参数来处理这些问题。
-
quoting
: 控制引号的使用。常用的值有：csv.QUOTE_MINIMAL
: 只有包含分隔符、引号或换行符的字段才会被引号包围。csv.QUOTE_ALL
: 所有字段都被引号包围。csv.QUOTE_NONNUMERIC
: 所有非数字字段都被引号包围。csv.QUOTE_NONE
: 永远不使用引号。如果字段中包含分隔符，会抛出csv.Error
异常。
-
quotechar
: 定义引号字符，默认为双引号"
。
例如，如果你的CSV文件使用竖线
|作为分隔符，并且使用单引号
'作为引号字符，你可以这样读取：
import csv
def read_csv_with_custom_delimiter(filename):
"""使用自定义分隔符和引号读取CSV文件。"""
data = []
try:
with open(filename, 'r', encoding='utf-8') as csvfile:
csv_reader = csv.reader(csvfile, delimiter='|', quotechar="'")
for row in csv_reader:
data.append(row)
except FileNotFoundError:
print(f"文件未找到: {filename}")
except Exception as e:
print(f"读取文件时发生错误: {e}")
return data
# 示例用法
custom_csv_data = read_csv_with_custom_delimiter('custom.csv')
if custom_csv_data:
for row in custom_csv_data:
print(row)
写入的时候也类似，只需要在
csv.writer中指定
delimiter、
quotechar和
quoting参数即可。
如何处理大型CSV文件？
如果CSV文件非常大，一次性读取到内存可能会导致内存溢出。这时候，可以使用迭代器逐行读取，或者使用
pandas库的分块读取功能。
1. 使用迭代器：
csv.reader本身就是一个迭代器，可以逐行读取数据，无需一次性加载到内存。
import csv
def process_large_csv(filename):
"""逐行处理大型CSV文件。"""
try:
with open(filename, 'r', encoding='utf-8') as csvfile:
csv_reader = csv.reader(csvfile)
header = next(csv_reader) # 跳过标题行
for row in csv_reader:
# 在这里处理每一行数据
process_row(row)
except FileNotFoundError:
print(f"文件未找到: {filename}")
except Exception as e:
print(f"读取文件时发生错误: {e}")
def process_row(row):
"""处理单行数据的函数。"""
# 例如，打印第一列数据
print(row[0])
# 示例用法
process_large_csv('large.csv')2. 使用pandas
分块读取：
pandas库提供了
read_csv函数的
chunksize参数，可以指定每次读取的行数。
import pandas as pd
def process_large_csv_with_pandas(filename, chunksize=1000):
"""使用pandas分块读取大型CSV文件。"""
try:
for chunk in pd.read_csv(filename, chunksize=chunksize):
# 在这里处理每个数据块
process_chunk(chunk)
except FileNotFoundError:
print(f"文件未找到: {filename}")
except Exception as e:
print(f"读取文件时发生错误: {e}")
def process_chunk(chunk):
"""处理数据块的函数。"""
# 例如，打印每个数据块的行数
print(len(chunk))
# 示例用法
process_large_csv_with_pandas('large.csv', chunksize=10000)pandas的
read_csv函数功能强大，可以处理各种复杂的CSV文件格式。
chunksize参数指定了每次读取的行数，可以根据你的内存大小进行调整。
如何避免CSV文件读写中的编码问题？
编码问题是CSV文件读写中常见的坑。如果CSV文件使用了非UTF-8编码，读取时可能会出现乱码。为了避免这个问题，应该始终指定正确的编码方式。
-
读取文件时，指定
encoding
参数：with open(filename, 'r', encoding='gbk') as csvfile: # 例如，使用GBK编码 csv_reader = csv.reader(csvfile) # ...常用的编码方式有
utf-8
、gbk
、gb2312
、latin1
等。如果不知道文件的编码方式，可以尝试使用chardet
库进行检测。 -
写入文件时，同样指定
encoding
参数：with open(filename, 'w', newline='', encoding='utf-8') as csvfile: csv_writer = csv.writer(csvfile) # ...保持读取和写入的编码方式一致，可以避免乱码问题。
总的来说，Python读写CSV文件并不难，但需要注意细节，尤其是处理特殊字符和编码问题。使用
csv模块提供的各种参数，以及
pandas库的分块读取功能，可以轻松地处理各种复杂的CSV文件。记住，实践是检验真理的唯一标准，多写代码，多踩坑，才能真正掌握这些技巧。
