本文介绍一种“匹配优先”而非“分割优先”的正则策略：通过交替模式（alternation）一次性捕获所有目标单元——包括浮点数、预设关键词（如 "cats" "dogs"）及其余单字符，避免复杂循环与多轮拆分。
本文介绍一种“匹配优先”而非“分割优先”的正则策略：通过交替模式（alternation）一次性捕获所有目标单元——包括浮点数、预设关键词（如 "cats" "dogs"）及其余单字符，避免复杂循环与多轮拆分。
在字符串处理中，面对“既要保留特定单词、又要识别数字、其余字符逐个切分”的需求，传统 String.split() 往往力不从心——因为 split 本质是基于分隔符的切割，而本例需要的是按语义单元进行提取。正确的思路是：不拆分，而是主动匹配所有合法片段。
核心正则模式为：
cats|dogs|d+(?:.d+)?|.
该模式采用 |（或）逻辑构成交替结构，各分支按从左到右顺序尝试匹配，且正则引擎默认启用最长匹配（greedy）与优先匹配（first-match-wins），因此需注意分支顺序：
- cats|dogs：优先匹配完整关键词，防止被后续更短的模式截断（如 "cats" 不会先被匹配成 "c"）；
- d+(?:.d+)?：匹配整数或浮点数（如 "3", "3.0", "8.0"），注意此处使用 + 而非 * 避免匹配空数字；若需支持 .5 这类前导小数点，可扩展为 d*.?d+；
- .：作为兜底项，匹配任意单个字符（含符号、字母等未被前述规则覆盖的内容），确保无遗漏。
Java 实现示例如下：
import java.util.*;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class Tokenizer {
public static List<String> tokenize(String input, String... keywords) {
// 动态构建关键词部分（转义正则元字符，如 dogs → dogs，但若含 . * + 等需处理）
String keywordPattern = String.join("|", Arrays.stream(keywords)
.map(Pattern::quote) // 安全转义，防止关键词含正则特殊字符
.toArray(String[]::new));
String numberPattern = "\d+(?:\.\d+)?";
String fallbackPattern = ".";
String regex = String.format("%s|%s|%s", keywordPattern, numberPattern, fallbackPattern);
Pattern pattern = Pattern.compile(regex);
Matcher matcher = pattern.matcher(input);
List<String> tokens = new ArrayList<>();
while (matcher.find()) {
tokens.add(matcher.group());
}
return tokens;
}
public static void main(String[] args) {
String input = "3.0catsdogs}qd7cats8.0dogs";
List<String> result = tokenize(input, "cats", "dogs");
System.out.println(result);
// 输出：[3.0, cats, dogs, }, q, d, 7, cats, 8.0, dogs]
}
}⚠️ 注意事项：
- 关键词顺序敏感：若关键词存在包含关系（如 "cat" 和 "cats"），应将更长的词放在前面，否则 "cats" 可能被 "cat" 截断；
- 数字模式局限性：当前 d+(?:.d+)? 不匹配科学计数法（如 1e2）或负数（如 -3.0），如需支持，可增强为 -?d+(?:.d+)?(?:[eE][+-]?d+)?；
- 性能考量：对于超长文本，交替模式仍属线性扫描，效率优于多轮循环，但大量关键词时建议预编译 Pattern 对象复用；
- 空字符串防护：输入为空或仅含空白时，matcher.find() 自然不触发，无需额外判空。
总结：当「分割逻辑复杂且依赖上下文」时，放弃 split()，转向 find() 是更优雅、可维护性更强的正则实践范式——它将问题转化为“定义什么是有意义的 token”，而非“定义什么是分隔符”。
