讲师中心 微信公众号
AI工具推荐 视频效率加速

利用Sublime正则表达式过滤重复的URL链接

梦明小哥_5466

梦明小哥_5466

发布时间:2026-10-22 08:21:26

|

314人浏览过

|

来源于php中文网

原创

匹配重复URL需用^s(https?://1+)s$提取单行URL,再通过查找全部、复制、排序及正则去重分步实现;高亮重复项可用^(\s*https?://[^s ]+\s*)$(?=s*)。s ↩

利用sublime正则表达式过滤重复的url链接

匹配重复 URL 的核心正则模式

Sublime Text 本身不支持“去重”原生操作,但可以靠正则先 ^s*(https?://[^s]+)s*$ 提取所有 URL 行,再用「查找全部 → 复制匹配 → 粘贴到新窗口 → 排序 + 正则删重复」分步完成。关键不是一步到位,而是把「识别重复」和「保留唯一」拆开做。

注意:URL 中可能含 #、?、&,所以不能简单用 ^https?://.*$ —— 它会跨行或吞掉空格后内容。稳妥写法是:^s*(https?://[^s ]+)s*$,其中 [^s ]+ 确保只捕获单行内 URL,避免误吞换行或缩进。

快速筛选并高亮所有重复项(非删除)

想先看哪些 URL 出现了多次?用 Sublime 的「Find All」配合反向引用:

^(s*https?://[^s ]+s*)$(? ❌ 不生效 —— Sublime 的正则引擎(PCRE 变种)不支持跨行回溯引用,这个写法会失败。

正确做法是两步走:

  • 先用 ^s*(https?://[^s ]+)s*$ 查找所有 URL,按 Ctrl+Shift+G(Windows/Linux)或 Cmd+Shift+G(macOS)选中全部匹配项
  • 复制(Ctrl+C),新建窗口粘贴,执行菜单 Sort Lines(F9),再运行正则 ^(https?://[^s ]+)s*$ ^s*$ 并勾选 Regular Expression 和 Highlight matches only
  • 这时每对相邻重复 URL 都会被高亮,可人工确认或批量删第二行

真正去重:排序 + 删除连续重复行

Sublime 没有「按内容去重」命令,但 Sort Lines 后的连续重复行,可用正则精准干掉:

  • 先确保每行只含一个 URL(无空格/注释),否则先用 s*(https?://[^s ]+)s*.* 替换为 $1
  • 执行 Sort Lines(F9)
  • 查找:^(https?://[^s ]+)s*$ ^s*$,替换为:$1,勾选 Regular Expression 和 Replace All
  • 重复执行该替换,直到提示「0 occurrences found」—— 因为一次只能删相邻对,多重复需多轮

如果 URL 带末尾斜杠差异(如 https://a.com/ vs https://a.com),得先统一标准化,否则不会被识别为重复。

处理带参数或大小写的“逻辑重复”

真实场景中,https://example.com/?id=1 和 https://EXAMPLE.COM/?ID=1 应算重复,但默认正则不忽略大小写或 query 参数顺序。Sublime 无法自动归一化,必须预处理:

  • 用正则批量小写 host:https?://([^s/]+) → https://L$1E(L 和 E 是 Sublime 支持的大小写转换元字符)
  • 删掉所有 #.* 锚点(#.*$ → 空)
  • 对 query 参数排序?做不到 —— Sublime 正则无函数式处理能力,此时建议导出后用 Python/JS 脚本处理
  • 若只是粗略去重,加 Match Case 取消勾选,让查找忽略大小写,但替换仍需手动校验

别指望一条正则解决所有语义重复;URL 去重的边界在「字符串相等」,超出这个范围就得换工具。

热门AI工具

更多
AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

4396

2023.06.20

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

2921

2023.07.05

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

8062

2023.07.05

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

812

2023.08.11

正则表达式空格
正则表达式空格

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

520

2023.08.31

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

673

2023.11.13

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

386

2023.11.17

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

719

2023.12.06

剧云故事大纲与分场规划教程
剧云故事大纲与分场规划教程

本专题讲解剧云梗概与多级大纲功能,覆盖全局、分集、分场结构生成,以及主线冲突、剧情节点和场次顺序调整。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn