讲师中心 微信公众号
AI工具推荐 视频效率加速

Sublime怎么查找并删除重复行 Sublime数据处理高效方案【实用】

浅磊大大_6440

浅磊大大_6440

发布时间:2026-01-24 14:55:16

|

298人浏览过

|

来源于php中文网

原创

Sublime Text无原生删除重复行功能,推荐先用Sort Lines插件排序使重复行相邻,再用正则^(.*)$\n^\1$替换为\1逐轮清除;大文件或需条件去重时可用Python控制台脚本处理。

sublime怎么查找并删除重复行 sublime数据处理高效方案【实用】

Sublime Text 里没有原生“删除重复行”功能

Sublime Text 本身不提供类似 Remove Duplicates 的内置命令,直接按 Ctrl+H(查找替换)也无法靠正则一次性安全去重——因为重复行可能跨段、无序、或仅部分字段重复。强行用正则匹配整行去重,容易误删、漏删,尤其当行末有空格、制表符或 BOM 时更不可靠。

推荐方案:用 Sort Lines 插件 + 手动去重(最稳)

这是 Sublime 用户最常用、最可控的方式。核心逻辑是先排序让重复行相邻,再用正则批量删相邻重复项:

  • 安装 Package Control 后,按 Ctrl+Shift+P → 输入 Install Package → 搜索并安装 Sort Lines
  • 选中要处理的文本(或全选 Ctrl+A),按 Ctrl+Shift+P → 输入 Sort Lines → 选 Sort Lines (case sensitive)
  • 再按 Ctrl+H 打开替换面板,勾选 Regular Expression(.* 图标),输入:
    ^(.*)$\n^\1$
    ,替换为:
    \1
  • 反复点 Replace All 直到提示“0 occurrences found”——这说明所有相邻重复已清完

⚠️ 注意:^\1$ 只能匹配紧邻的下一行完全相同。如果原始数据含空行或缩进差异,需先统一格式(如用 Convert Indent to Spaces 或正则 ^\s+ 替换为空)。

替代方案:用 Python 控制台快速跑脚本(适合大文件或需条件去重)

对 10 万行以上数据,或需要“保留第一次出现的重复行”“按某列去重”,用 Sublime 内置 Python 控制台更灵活:

Python Testing
Python Testing

Python 测试速查:运行 pytest、使用 mock/patch、参数化、fixtures、异步、覆盖率测试。

下载
  • 按 Ctrl+` 打开控制台,粘贴以下代码(以当前视图全文为输入):
    view = sublime.active_window().active_view()
    text = view.substr(sublime.Region(0, view.size()))
    lines = text.splitlines()
    seen = set()
    unique_lines = []
    for line in lines:
        if line not in seen:
            seen.add(line)
            unique_lines.append(line)
    view.replace(edit, sublime.Region(0, view.size()), '\n'.join(unique_lines))
  • 注意:这段代码会**覆盖全文**,操作前务必 Ctrl+Z 可撤回;若需保留空行,把 splitlines() 改成 text.split('\n') 并处理末尾换行
  • 如果要去重但保留顺序,且允许空字符串参与判断,上面代码已满足;若想忽略首尾空白再比较,把 if line not in seen 改成 if line.strip() not in seen,同时 seen.add(line.strip())

别踩坑:这些“看似能用”的方法实际很危险

网上有些教程教用正则 ^(.*?)$\s*^(\1)$ 或 ^(.*)(\r?\n\1)+$ 直接匹配所有重复——它们在 Sublime 的 regex 引擎(Boost)下行为不稳定,尤其遇到 Windows / macOS 换行混杂、BOM、或行内有 $^ 特殊字符时,极易崩溃或删错。

另一个常见误区是依赖 Filter Lines 插件:它本质是 grep,只能“保留含某关键词的行”,不能“去重”。装了也解决不了问题。

真正省事又可靠的做法,还是老老实实先 Sort Lines,再正则逐轮消重——多点两下,换来的是结果可预期、可复现。

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

相关专题

更多
sort排序函数用法
sort排序函数用法

sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

1098

2023.09.04

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1558

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2264

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

5784

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

4889

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

6594

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

8874

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

4519

2025.07.29

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

80

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn