StringTokenizer通过传入含所有分隔符的字符串，将每个字符视为独立分隔符，适合解析混用分隔符的遗留文本；默认跳过空字段，需保留时应改用split；遍历时应先获取countTokens再循环以避免竞态。
Java 中的 StringTokenizer 本身不支持正则表达式，也不能直接传入多个独立字符作为“任意一个都算分隔符”的集合——但它可以通过构造函数传入一个包含所有定界符的字符串，将其中**每个字符都视为独立的分隔符**。这对解析结构松散、分隔符混用的遗留文本报文（如空格、逗号、竖线、分号、制表符并存）非常实用。
用字符串聚合所有可能的定界符
把所有可能出现的分隔字符拼成一个字符串传给 StringTokenizer 构造函数。例如，若报文用空格、逗号、竖线、分号、制表符分隔：
String delimiters = " ,|;\t";
StringTokenizer tokenizer = new StringTokenizer(input, delimiters);
注意：不需要转义，\t 是合法的字符串字面量；重复字符（如多个空格）会被自动跳过，无需预处理。
立即学习“Java免费学习笔记（深入）”；
跳过空字段（默认行为）与保留空字段的区别
StringTokenizer 默认忽略连续分隔符之间的空字段（即 "a,,b" 只返回 "a" 和 "b"）。如果遗留报文依赖空字段占位（如 "name||age|city" 表示 age 缺失），就不能用它——此时应改用 String.split("[" + delimiters + "]", -1) 配合正则。
当用户要求为 Java 代码添加注释、修改注释、审查注释、整理注释格式，或要求按照代码注释规范处理 Java 文件时，使用本技能。本技能用于统一生成和维护 Java 类注释模板、按 Git 对比 release 判断版本号、补充每行代码上方中文块注释、调整注释空行规则，并保持 Java 文件 UTF-8 无 BOM 编码。典型触发场景包括：补充类注释、更新 @version、检查 @author 来源、整理行尾注释、把注释放到代码上一行、检查注释是否符合规范、构建前检查 Java 注释风格。
若确认可跳过空字段，StringTokenizer 更轻量、无正则开销，适合高频解析场景。
安全遍历：避免 hasMoreTokens() 和 nextToken() 的竞态问题
不要写成 while (tokenizer.hasMoreTokens()) { String s = tokenizer.nextToken(); ... } ——虽然通常安全，但在多线程或异常中断时可能出错。更稳妥的是先缓存 token 数量再循环：
- int count = tokenizer.countTokens();
- for (int i = 0; i
这样避免了每次调用 hasMoreTokens() 的内部状态检查，也防止因异常导致计数偏移。
兼容旧代码时注意废弃警告与替代建议
StringTokenizer 是遗留类，JavaDoc 标注为 “legacy” 并建议优先使用 String.split() 或 java.util.Scanner。但在维护老系统时，只要逻辑清晰、输入可控，继续用它完全合理——关键是理解其字符级分隔逻辑，而非强行升级。
若后续需支持更复杂规则（如引号包裹字段、转义字符），就该转向 OpenCSV 或自定义解析器，而不是硬撑 StringTokenizer。
