本文介绍在java中准确解析含连续制表符的tsv行数据的方法，指出stringtokenizer无法保留空字段的局限性，并推荐使用string.split()或专业csv库（如opencsv）实现完整字段保留。

StringTokenizer 是 Java 早期提供的字符串分词工具，但它默认跳过所有分隔符之间的空字符串——即遇到连续分隔符（如 ）时，它会将中间视为“无内容”，直接忽略，因此无法反映原始数据中的空字段位置。这导致解析结果字段数不一致、索引错位，严重破坏结构化数据的完整性。

要正确保留空字段（例如将 解析为 ["a", "", "b"] 而非 ["a", "b"]），应改用 String.split(String regex, int limit) 方法，并传入负数限制值（如 -1）：

String[] tokens = line.split("	", -1); // 关键：-1 表示不限制分割次数，保留尾部及中间空字符串
ArrayList<String> fields = new ArrayList<>(Arrays.asList(tokens));
System.out.println(fields.size() + " >> " + fields);

✅ 此方式严格按分隔符位置切分，连续 之间生成空字符串 ""，完美匹配需求。例如输入 "R 900081458 22222-22-2 1 -1 1 0 0 1" 将解析为 11 个元素，其中第4、5位为 ""。

Miller CSV TSV JSON 数据处理器

Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。

下载

⚠️ 注意事项：

• 不要省略第二个参数 -1：line.split(" ") 默认等价于 split(" ", 0)，会丢弃末尾空字符串（虽不影响中间空字段，但行为不一致，建议显式指定）；
• 制表符需转义为 " "（字符串字面量），而非 "\t"（后者是正则中匹配字面 的写法，在 split 中反而是错误的）；
• 若数据中存在转义字符、引号包裹或换行等复杂场景，split() 仍可能失效——此时强烈推荐使用成熟CSV/TSV解析库，如 OpenCSV（支持自定义分隔符、空值处理、引号转义）或 Apache Commons CSV。

? 总结：StringTokenizer 已属遗留类，不适用于需要保留空字段的分隔符解析场景；String.split(" ", -1) 是轻量、标准、可靠的替代方案；对生产级数据处理，应优先选用经过充分测试的专业解析库，避免自行处理边缘情况。