本文介绍一种健壮、可扩展的方法，用于解析包含多个以 %T/%F/%R 标记开头的嵌套表格的 TSV 文件，并将每个表格准确转换为独立的 Pandas DataFrame。
本文介绍一种健壮、可扩展的方法，用于解析包含多个以 `%t`/`%f`/`%r` 标记开头的嵌套表格的 tsv 文件，并将每个表格准确转换为独立的 pandas dataframe。
在实际数据工程与科研场景中，常遇到非标准格式的“伪TSV”文件：它们虽以制表符分隔，但混合了元信息、多张逻辑表格及动态长度记录。这类文件不满足 pd.read_csv() 的单表假设，需先完成语义切分再结构化解析。
核心思路是：按标记行（%T）分割逻辑表格 → 提取每张表的字段定义（%F）与记录（%R）→ 构建标准化 TSV 片段 → 交由 Pandas 加载。原始答案中的文件拆分方法存在严重缺陷（未处理 %F/%R 行归属、忽略首部杂项、未关闭文件句柄），以下为生产级改进方案：
✅ 正确解析流程（内存安全、无临时文件）
import pandas as pd
from typing import Dict, List, Optional
def parse_multi_table_tsv(filepath: str) -> Dict[str, pd.DataFrame]:
"""
解析含多表的标记化TSV文件，返回 {table_name: DataFrame} 字典
支持：
- 文件头部任意行数的非表文本
- 表名（%T）、字段头（%F）、记录（%R）三类标记
- 每张表列数动态适配（依据%F行）
- 自动跳过空行和纯注释行
"""
tables = {}
current_table_name = None
current_columns = []
current_records = []
with open(filepath, 'r', encoding='utf-8') as f:
for line_num, line in enumerate(f, 1):
line = line.rstrip('\n\r')
if not line.strip(): # 跳过空行
continue
parts = line.split('\t')
marker = parts[0].strip()
if marker == '%T' and len(parts) >= 2:
# 保存上一张表（若存在）
if current_table_name and current_columns:
df = pd.DataFrame(current_records, columns=current_columns)
tables[current_table_name] = df
current_records.clear()
# 初始化新表
current_table_name = parts[1].strip()
current_columns = []
elif marker == '%F' and current_table_name:
# 提取字段名（跳过%F标记本身）
current_columns = [col.strip() for col in parts[1:]]
if not current_columns:
raise ValueError(f"Empty column headers at line {line_num}")
elif marker == '%R' and current_table_name and current_columns:
# 提取记录值（跳过%R标记，对齐列数）
values = [val.strip() for val in parts[1:]]
# 补齐或截断以匹配列数（防止因数据异常导致解析失败）
if len(values) < len(current_columns):
values.extend([''] * (len(current_columns) - len(values)))
else:
values = values[:len(current_columns)]
current_records.append(values)
# 忽略 %E 及其他未知标记（如文件末尾的结束符）
# 处理最后一张表
if current_table_name and current_columns and current_records:
df = pd.DataFrame(current_records, columns=current_columns)
tables[current_table_name] = df
return tables
# 使用示例
file_path = "multi_table_data.tsv"
tables_dict = parse_multi_table_tsv(file_path)
# 查看所有表名及形状
for name, df in tables_dict.items():
print(f"Table '{name}': {df.shape[0]} rows × {df.shape[1]} columns")
print(df.head(2), "\n")⚠️ 关键注意事项
- 编码与换行：务必指定 encoding='utf-8'，避免中文或特殊字符乱码；使用 rstrip('\n\r') 统一处理不同平台换行符。
- 列对齐鲁棒性：%R 行字段数可能与 %F 不一致（常见于脏数据），代码中通过补空/截断确保 DataFrame 列数严格匹配。
- 内存效率：全程流式读取，不生成临时文件，适合处理 GB 级大文件。
- 错误防御：对空字段头、缺失表名等异常提供明确报错，便于调试。
- 扩展性：如需支持 %E（End）标记终止解析，可在循环末添加 elif marker == '%E': break。
此方案摒弃了“先拆文件再加载”的低效且易出错的两阶段法，直接在内存中完成语义解析，兼具准确性、可维护性与工业级健壮性。
