本文介绍如何在 Java 中通过正则表达式将字符串按空白字符（含空格、制表符、换行符等）分割，同时完整保留所有原始分隔符（如 、 、多个空格等），避免其被合并或丢失。
本文介绍如何在 java 中通过正则表达式将字符串按空白字符（含空格、制表符、换行符等）分割，同时**完整保留所有原始分隔符**（如 ` `、` `、多个空格等），避免其被合并或丢失。
在 Java 字符串处理中，String.split() 方法虽便捷，但其本质是丢弃分隔符——即使你传入 \s+ 或 [\s\r\n]+，结果数组中也仅包含非分隔符的匹配片段，且连续空白会被压缩为单次分割，换行符更会与空格一视同仁地“消失”为普通空格或被忽略。这在需要精确还原原始文本结构（例如日志解析、协议报文处理、RabbitMQ 传输的带格式文本）时显然不满足需求。
此时，推荐采用 “全量匹配 + 分组提取” 的思路：不调用 split()，而是使用 Pattern.compile("\S+|\s+").matcher(str)，对字符串进行交替匹配——即依次捕获所有非空白序列（\S+） 和空白序列（\s+），二者互斥且覆盖全部字符，从而实现零遗漏的分词（tokenization）。
以下为完整示例代码：
import java.util.*;
import java.util.regex.*;
public class TokenizeWithDelimiters {
public static List<String> splitAndPreserve(String input) {
if (input == null) return Collections.emptyList();
Pattern pattern = Pattern.compile("\S+|\s+");
Matcher matcher = pattern.matcher(input);
List<String> tokens = new ArrayList<>();
while (matcher.find()) {
tokens.add(matcher.group());
}
return tokens;
}
public static void main(String[] args) {
String text = "word1 word2! word3? word4; word5, word6
word7
!word8! word9 word10 word11 word12";
List<String> result = splitAndPreserve(text);
System.out.println(result);
// 输出示例（换行符以实际
字符呈现）：
// [word1, " ", word2!, " ", word3?, " ", word4;, " ", word5,, " ", word6, "
", word7, "
", !word8!, " ", word9, " ", word10, " ", word11, " ", word12]
}
}✅ 关键优势说明：
你接手一个需求时，是不是经常这样："改一个小字段 → 结果把不相关的代码也改了"、"需求说得很模糊 → 做着做着发现跑偏了"、"数据库加个字段 → 上线才发现漏了数据兼容"、"做了个新功能 → 一个月后自己都忘了当时怎么设计的"、"写到一半被中断 → 再回来不知道从哪继续"；这个 Skill 就是专门解决这些问题的。 它会自动探测你的项目环境（JDK、Spring Boot、ORM、数据库、前端框架），记在
立即学习“Java免费学习笔记（深入）”；
- \S+|\s+ 是一个无回溯、全覆盖的正则：\S+ 匹配至少一个非空白字符，\s+ 匹配至少一个空白字符（含 , , , 空格等），二者逻辑或确保每个字符必属其一；
- Matcher.find() 严格按文本顺序逐段匹配，因此原始换行符 会作为独立字符串保留在结果列表中，而非被当作普通空格处理；
- 支持多空格、混合换行符（如 Windows 的 ）等真实场景，且不会因连续空白导致 token 缺失。
⚠️ 注意事项：
- 若输入为空字符串 ""，matcher.find() 不会进入循环，返回空列表，符合预期；
- 此方法不跳过首尾空白——例如 " hello " 会拆分为 [" ", "hello", " "]，若需去除首尾分隔符，可在结果上额外调用 result.removeIf(String::isBlank)（JDK 11+）或手动过滤；
- 在 RabbitMQ 等中间件传输场景中，务必确认消息体编码与换行符一致性（如 Linux vs Windows 行尾），建议统一使用 并在消费端做标准化预处理。
综上，当业务要求“分割并保留分隔符”时，放弃 split()，转而使用 Pattern + Matcher 进行显式 token 匹配，是最清晰、可靠且符合 Java 正则设计哲学的解决方案。
