StreamTokenizer 适合解析无嵌套引号、无跨行、无逗号逃逸的轻量文本，如INI配置、带注释参数、日志行和脚本片段；需重置语法表、设置空白符、启用数字解析，并用nextToken()+ttype准确提取。
StreamTokenizer 不是为解析标准 CSV 设计的，但它在处理轻量级配置文件、日志片段或自定义格式文本时，能以极低开销完成数字、单词、注释的极速提取——关键在于正确配置语法表，而非强行适配 RFC 4180。
适合它的真实场景
它擅长的是结构松散但语义清晰的文本，比如：
-
INI 风格配置：
timeout=30、debug=true、port=8080 -
带注释的参数列表：
# max retries、retries=5 -
简单日志行切片：
INFO [2026-05-02] User login id=1001 -
命令式脚本片段：
set volume 75、play "song.mp3"
这些场景里，字段无嵌套引号、无跨行、无逗号逃逸，StreamTokenizer 的状态机优势立刻显现：一次扫描，类型即判，无需构建中间字符串列表。
必须调的三步初始化
默认语法表几乎不可用，跳过这三步等于白用：
-
重置基础规则：
tokenizer.resetSyntax();—— 清空所有预设，从零开始定义字符角色 -
指定空白符：
tokenizer.whitespaceChars(' ', ' '); tokenizer.whitespaceChars('\t', '\t'); tokenizer.whitespaceChars('\n', '\r');—— 明确哪些字符只作分隔，不产出 token -
启用数字识别：
tokenizer.parseNumbers();—— 否则123被当作文本，nval不更新
若需支持注释，再加：tokenizer.slashStartComments(true);（识别 //）或 tokenizer.slashSlashComments(true);（识别 /* */），二者不互斥。
QuickBooks Mileage CSV
下载
使用 qbo-mileage CLI 及用户凭证，从 Airtable、Outlook 或 Google Calendar 记录生成 QuickBooks Online 里程 CSV 文件。
提取数字与单词的核心循环
不要依赖 hasMoreTokens()，用 nextToken() + ttype 判断更稳定：
-
ttype == TT_NUMBER→ 取nval，注意它是double，整数场景建议(int) Math.round(nval) -
ttype == TT_WORD→ 取sval，此时已去除首尾空白，但大小写保留；如需统一小写，提前调tokenizer.lowerCaseMode(true) -
ttype == '=' || ttype == ':'→ 自定义分隔符，可用来识别键值对中的冒号或等号 -
ttype == '"' || ttype == '\''→ 若已用quoteChar('"')声明引号，则该 token 的sval是去引号后的纯内容
遇到 TT_EOF 即终止，TT_EOL 可用于按行计数（配合 lineno()）或触发段落逻辑。
避开 CSV 的硬坑
别把它当 CSV 解析器用。以下情况它会直接失效：
- 字段含逗号且被双引号包裹：
"Smith, Jr.",25→ 它会拆成"Smith、Jr."、25，无法还原 - 字段含换行：
"line1\nline2",100→TT_EOL中断 token 流，后续错位 - 空字段：
a,,c→ 默认跳过，不产生null或空字符串 token
真要读 CSV，请用 OpenCSV、Apache Commons CSV 或 Java 11+ 的 Files.lines().map(...) 配合 split()（仅限无引号简单 CSV）。
