本文介绍如何用 Python（结合正则表达式）稳健解析结构化文本日志，从中批量提取嵌套在 #Parameters = {...} 中的几何参数（如 g1–g5、l1）及后续连续的频率–RCS 数值对，并组织为宽格式 DataFrame。
本文介绍如何用 python（结合正则表达式）稳健解析结构化文本日志，从中批量提取嵌套在 `#parameters = {...}` 中的几何参数（如 g1–g5、l1）及后续连续的频率–rcs 数值对，并组织为宽格式 dataframe。
在电磁仿真或参数化建模中，软件常输出类似 .txt 或 .dat 的结构化日志文件：每段以 #Parameters = {...} 开头，后跟带标题的数值表格（如频率与 RCS）。目标是将每组参数与对应的所有频点数据对齐，形成“一参数组 → 多频点”的宽表结构（即每个参数组合占一行，各频点 RCS 作为独立列）。原始代码因硬切分字符串导致解析失败（如 '{g5' 无法转 float），根本原因在于未正确剥离花括号和空格——正则表达式是更鲁棒、可维护的解决方案。
✅ 推荐实现：分阶段正则匹配 + 动态宽表构建
以下代码完整解决三个核心问题：
- 安全提取参数：用 re.findall(r'#Parameters = \{([^}]*)\}', line) 精准捕获 {} 内容；
- 键值对解析：对捕获内容二次匹配 r'(g[1-5]|l1)=([\d.]+)'，仅提取所需字段（忽略 w, ct 等无关项）；
- 频点数据对齐：按参数段落分组读取后续数值行，确保每组 g1,g2,...,l1 与对应全部 freq, rcs 绑定。
import re
import pandas as pd
def extract_parameters_and_rcs(file_path):
"""
从结构化文本文件中提取几何参数与对应频点RCS数据，返回宽格式DataFrame。
每行代表一个参数组合，列包括 g1-g5, l1 及所有频率点的 RCS 值。
"""
param_blocks = [] # 存储每组参数字典
data_blocks = [] # 存储每组对应的 (freq, rcs) 列表
# 预编译正则提高性能
param_pattern = re.compile(r'#Parameters = \{([^}]*)\}')
kv_pattern = re.compile(r'(g[1-5]|l1)=([\d.]+)')
data_pattern = re.compile(r'^\s*([\d.]+)\s+([\d.-]+)\s*$') # 匹配数值行：频率 + RCS
current_params = {}
current_data = []
with open(file_path, 'r', encoding='utf-8') as f:
for line in f:
line = line.strip()
if not line:
continue
# 匹配参数行：提取并解析 g1-g5, l1
param_match = param_pattern.match(line)
if param_match:
# 保存上一组数据（如果存在）
if current_params and current_data:
param_blocks.append(current_params.copy())
data_blocks.append(current_data.copy())
current_data.clear()
# 解析新参数
content = param_match.group(1)
kv_matches = kv_pattern.findall(content)
current_params = {k: float(v) for k, v in kv_matches}
# 匹配数值行：频率与 RCS
elif data_pattern.match(line):
freq, rcs = map(float, line.split()[:2])
current_data.append((freq, rcs))
# 添加最后一组数据
if current_params and current_data:
param_blocks.append(current_params)
data_blocks.append(current_data)
# 构建宽表：参数列 + 所有频点列
if not param_blocks:
raise ValueError("未在文件中找到任何 #Parameters 段落")
# 获取所有唯一频率点（取第一组数据的频率作为列名基准，确保对齐）
freq_headers = [f"Freq_{i}" for i in range(len(data_blocks[0]))]
rcs_headers = [f"RCS_{i}" for i in range(len(data_blocks[0]))]
# 合并参数与数据
rows = []
for params, data_list in zip(param_blocks, data_blocks):
row = params.copy()
# 展开 freq 和 rcs 为独立列
for i, (freq, rcs) in enumerate(data_list):
row[freq_headers[i]] = freq
row[rcs_headers[i]] = rcs
rows.append(row)
return pd.DataFrame(rows)
# 使用示例
if __name__ == "__main__":
df = extract_parameters_and_rcs("simulation_data.txt")
print(df.head())
# 输出示例（列名已简化）：
# g1 g2 g3 g4 g5 l1 Freq_0 RCS_0 Freq_1 RCS_1 ...
# 0 1 0.8 0.6 0.6 0.6 20 1.0 -61.46 1.045 -52.35 ...⚠️ 关键注意事项
- 编码兼容性：务必指定 encoding='utf-8'，避免 Windows 系统下中文路径或特殊字符报错；
- 频率对齐假设：本方案默认每组参数后的频点数量相同且顺序一致。若实际数据长度不一，需改用 pandas.concat() 按索引合并，或填充 NaN；
- 健壮性增强：生产环境建议添加异常处理（如 try/except 捕获 float() 转换失败）、日志记录参数缺失情况（如某组缺 g3）；
- 内存优化：超大文件可改用流式处理（逐段读取+生成器），避免一次性加载全文本。
✅ 总结
相比基于 str.split() 的硬解析，正则表达式提供了语义明确、容错性强、易于扩展的文本结构化解析能力。通过两层正则（外层定位段落，内层提取键值），我们彻底规避了字符串索引越界和格式污染风险。最终生成的宽表可直接用于机器学习特征工程或参数敏感性分析——这是科研与工程数据预处理的关键一步。
