本文介绍在Google Colab环境中，对有序命名的CSV文件（如M0000.csv–M0099.csv）实现“每10个文件为一批”的分组处理策略，并将每批文件的全部文本行分别存入独立列表，最终构建包含10个子列表的all_text结构。
本文介绍在google colab环境中，对有序命名的csv文件（如m0000.csv–m0099.csv）实现“每10个文件为一批”的分组处理策略，并将每批文件的全部文本行分别存入独立列表，最终构建包含10个子列表的`all_text`结构。
在实际数据处理任务中（尤其在Google Colab配合Google Drive使用时），我们常需对大量结构化小文件进行分块聚合处理——例如将连续10个CSV文件的内容合并为一个逻辑单元，用于后续批量特征提取、模型微调或内存受限下的流式加载。直接遍历所有文件再手动切片易出错，而基于索引模运算的分组法简洁高效。
以下是一个完整、健壮的实现方案：
✅ 核心思路：按文件序号分组 + 动态初始化批次容器
我们不依赖文件名解析（虽可行），而是利用sorted(glob.glob(...))天然保持字典序（即 M0000.csv, M0001.csv, ..., M0099.csv），结合计数器 filenumber 实现精准分块：当 filenumber % 10 == 1 时新建一个空列表（对应第1、11、21...个文件），当 filenumber % 10 == 0 时完成当前批次并可触发汇总操作。
import glob
import pandas as pd
dir_path = 'drive/My Drive/Tri/'
all_text = [] # 最终结果：长度为10的list，每个元素是该批次所有文本行组成的list
current_batch = [] # 当前正在填充的批次
# 确保按文件名自然顺序读取（关键！）
files = sorted(glob.glob(dir_path + "M*.csv"))
pd.options.display.max_colwidth = 5000
for idx, file in enumerate(files):
# 每10个文件为一个批次：idx从0开始 → 批次索引 = idx // 10
batch_idx = idx // 10
# 若进入新批次，初始化空列表（仅首次需要）
if len(all_text) <= batch_idx:
all_text.append([])
print(f"Processing {file} (batch {batch_idx + 1}/10)...")
try:
# 逐行读取文本内容（忽略列解析，仅取原始行文本）
df = pd.read_fwf(file, header=None, on_bad_lines='skip', delimiter="\n")
# 将每行转为字符串并添加到当前批次
for _, row in df.iterrows():
line = str(row.iloc[0]) if not pd.isna(row.iloc[0]) else ""
all_text[batch_idx].append(line)
except Exception as e:
print(f"⚠️ Error reading {file}: {e}")
continue
# 验证结果结构
print(f"\n✅ Done! all_text has {len(all_text)} batches.")
for i, batch in enumerate(all_text):
print(f" Batch {i+1}: {len(batch)} text lines")⚠️ 关键注意事项
- 排序必须显式调用 sorted()：glob 返回顺序不保证，而 M0010.csv 在字典序中排在 M002.csv 之后，sorted() 可确保 M0000, M0001, ..., M0099 的严格递增顺序。
- 避免使用 filenumber % 10 == 0 作为唯一判断点：原答案仅提示“此时做某事”，但未解决“如何组织 all_text 结构”。本方案采用 idx // 10 直接计算所属批次索引，更直观且支持任意数量文件（不限于整百）。
- 异常处理不可少：CSV格式异常、空行、编码问题等常见于真实数据，try...except 保障单文件失败不影响整体流程。
- 内存优化建议：若单批次文本量极大，可考虑将 all_text[batch_idx] 替换为生成器或写入临时文件，而非全量驻留内存。
✅ 最终输出结构示例
# all_text[0] 包含 M0000.csv 至 M0009.csv 的所有非空文本行 # all_text[1] 包含 M0010.csv 至 M0019.csv 的所有非空文本行 # ... # all_text[9] 包含 M0090.csv 至 M0099.csv 的所有非空文本行
该模式灵活可扩展：只需修改 batch_size = 10 和 idx // batch_size，即可适配任意分块大小，是处理大规模文件序列的标准化实践。
立即学习“Python免费学习笔记（深入）”；
