讲师中心 微信公众号
AI工具推荐 视频效率加速

如何将按行分组的文本文件高效转换为结构化 CSV 文件

陌枫君_9331

陌枫君_9331

发布时间:2026-01-28 16:19:15

|

559人浏览过

|

来源于php中文网

原创

如何将按行分组的文本文件高效转换为结构化 CSV 文件

本文介绍如何将每三行一组的纯文本文件(如 ocr 输出)直接转换为标准 csv 格式,避免手动编辑;提供完整可运行代码,支持从 ocr 文本实时生成 csv,同时处理多余逗号、换行与分组逻辑。

在 OCR 后处理流程中,常遇到结构松散的文本输出:例如地址信息被拆分为“姓名”“地址”“城市州邮编”各占一行,且末尾带冗余逗号。若每次生成 address.txt 后还需额外脚本整理为 CSV,不仅低效,还易引入错误。理想方案是在 tess_address() 函数中直接完成分组与 CSV 写入,跳过中间文本文件。

以下为优化后的完整实现,分为两部分:(1)直接处理 OCR 文本生成 CSV;(2)兼容已有文本文件的离线转换。

✅ 方案一:OCR 流程中直出 CSV(推荐)

修改原 tess_address() 函数,在内存中完成清洗、分组与写入,不落地中间 .txt 文件:

windows-git-ops
windows-git-ops

在 Windows PowerShell 工作区执行 Git 操作时使用此技能,特别适用于创建分支、暂存、提交、合并、状态检查等。

下载
import os
import csv
import re
import pytesseract

def tess_address():
    files = sorted(os.listdir("address"))
    rows = []  # 存储所有三元组行

    for image in files:
        output_path = os.path.join("address", image)
        text = pytesseract.image_to_string(output_path)

        # 清洗:移除所有逗号(防干扰),并按行分割 + 去首尾空格
        lines = [re.sub(r",", "", line).strip() for line in text.splitlines() if line.strip()]

        # 验证行数是否为3的倍数(确保结构完整)
        if len(lines) % 3 != 0:
            print(f"警告: 图像 {image} 产生 {len(lines)} 行,非3的倍数,将截断至最近3的倍数")
            lines = lines[:len(lines) // 3 * 3]  # 安全截断

        # 每3行合并为1个CSV行
        for i in range(0, len(lines), 3):
            rows.append(lines[i:i+3])

    # 一次性写入CSV(使用newline=''避免Windows下空行)
    with open("address_output.csv", "w", newline="", encoding="utf-8") as f:
        writer = csv.writer(f)
        writer.writerows(rows)

    print(f"✅ 已生成 CSV 文件,共 {len(rows)} 行数据")
关键改进点: 使用 re.sub(r",", "", line) 精准清除每行内原有逗号,保留字段内自然逗号(如 "New York, NY" 不会被破坏); if line.strip() 过滤空行,提升鲁棒性; 主动截断非3倍数行,避免 assert 中断程序; encoding="utf-8" 显式声明编码,防止中文乱码。

✅ 方案二:离线转换现有文本文件

若需复用已有 address.txt,可用此独立函数转换:

import csv

def txt_to_csv(input_file="address.txt", output_file="address.csv"):
    with open(input_file, "r", encoding="utf-8") as f:
        lines = [line.strip().rstrip(",") for line in f if line.strip()]

    # 移除每行末尾逗号(保留行内逗号)
    lines = [line.rstrip(",") for line in lines]

    if len(lines) % 3 != 0:
        raise ValueError(f"输入行数 {len(lines)} 不是3的倍数,请检查文件格式")

    rows = [lines[i:i+3] for i in range(0, len(lines), 3)]

    with open(output_file, "w", newline="", encoding="utf-8") as f:
        csv.writer(f).writerows(rows)

    print(f"✅ 已将 {input_file} 转换为 {output_file}")

⚠️ 注意事项

  • CSV 字段含逗号/换行? 当前逻辑假设字段内无逗号或引号。若 OCR 输出可能含复杂内容(如 "Smith, John"),建议改用 csv.QUOTE_MINIMAL 并启用 quoting:
    writer = csv.writer(f, quoting=csv.QUOTE_MINIMAL)
  • 性能考量:对超大文件(>10MB),可改用生成器逐块读取,但 OCR 场景通常单文件较小,当前内存加载方案更简洁。
  • 路径安全:生产环境建议用 pathlib.Path 替代字符串拼接,增强跨平台兼容性。

通过以上重构,你彻底摆脱了“生成文本→手动编辑→转CSV”的繁琐链路,让 OCR 处理结果一步到位成为可直接导入 Excel 或 Pandas 的标准 CSV 数据。

热门AI工具

更多
SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

320

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

252

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

491

2026.04.13

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1678

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2564

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

5984

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

5449

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

7134

2024.03.22

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

80

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 44.2万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 3.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn