用 enum 定义状态（如 STATE_START）、switch 主循环驱动，每个 case 显式处理单字符输入、emit token、跳转或报错；数字/字符串/注释等需严格按边界条件判断，缓冲区动态累积并在词素结束时输出 token。
状态机怎么用 enum + switch 实现最清晰
直接用 enum 定义状态（比如 STATE_START、STATE_IN_NUMBER、STATE_IN_STRING），配合一个 switch (state) 主循环，比嵌套 if 或函数指针更易读、更易调试。每个 case 处理当前状态下的单字符输入，决定是否 emit token、是否跳转、是否报错。
关键点在于：状态变更必须显式写在 case 分支里，不能靠隐式 fall-through；每个分支末尾必须有 break，否则极易漏跳转。
- 别把字符判断逻辑塞进状态定义里——
enum只管状态名，不带行为 - 输入字符统一用
unsigned char转 int 处理，避免char符号扩展导致isalnum(-1)崩溃 - 遇到非法字符（如
@在非标识符上下文）应进入STATE_ERROR并记录位置，而不是静默跳过
如何识别数字字面量并区分 int / float
核心是看小数点和指数部分是否出现且合法：纯数字序列 → TOKEN_INT；带小数点但后面有数字 → TOKEN_FLOAT；小数点后没数字（如 123.）或只有小数点本身（.）→ 视为错误或回退为标识符前缀（取决于设计）。
注意 C++ 标准词法规定：数字字面量不能以 . 开头（除非是 .123 这种），也不能出现多个小数点或连续 eE。
立即学习“C++免费学习笔记（深入）”；
-
123→TOKEN_INT -
123.45→TOKEN_FLOAT -
123e-2→TOKEN_FLOAT -
123.→ 通常视为TOKEN_INT（C++ 允许），但你的解析器可选择报错 -
.45→ 必须支持，否则无法解析0.45的省略写法
字符串字面量的引号匹配与转义处理怎么不出错
进入 STATE_IN_STRING 后，必须严格按双引号（或单引号）配对，中间遇到未转义的换行要报错；反斜杠 后必须跟有效转义字符（n、t、"、\ 等），否则视为非法。
常见坑是：把 "abc
" 中的
当作两个字符处理，而实际应合成一个换行符；或者忽略 Unicode 转义（如 u0041），但简单脚本语言通常不需支持。
- 用布尔标志
in_escape记录上一个字符是不是，避免用 peek-ahead 增加复杂度 - 遇到
"且不在转义态时，立即结束字符串并 emitTOKEN_STRING - 遇到换行符（
"unclosed string literal"错误 - 转义序列只解码一次，不递归（
\n就是
Token 输出时机和缓冲区管理的关键约束
Token 不是在状态跳转时生成，而是在「确认当前词素结束」的瞬间生成。比如从 STATE_IN_IDENTIFIER 跳到 STATE_START 时，才把已读的标识符字符串切出来；数字同理，只有遇到非数字字符（或 EOF）才提交 TOKEN_INT。
缓冲区建议用 std::string 动态累积，每次 push_back 单字符；避免预分配大内存或频繁 realloc。emit 后立刻 clear 缓冲区，不要复用旧内容。
- 保留原始起始位置（行号、列号）比保留源字符串引用更安全，尤其当输入是流式读取时
- 不要在状态机里做语义分析（比如判断关键字），那属于后续 parser 阶段；词法器只管分出
TOKEN_IDENTIFIER，由上层查表转换 - EOF 处理必须显式检查：读不到字符时，若还在
STATE_IN_STRING或STATE_IN_NUMBER，就是未终止错误
状态机真正难的不是跳转逻辑，而是边界条件的枚举——比如 / 后跟 * 是注释开始，但 /= 是赋值运算符，// 是行注释。这些都得在对应状态下穷举下一个字符，少一个判断就可能吞掉合法 token。
