结论：手写 switch 驱动状态机，配合 enum class State 和单字符缓冲，比通用框架更易读、易调试；用 std::string_view 指向源码避免拷贝；错误时记录位置并生成 TOKEN_ERROR 后重置到 START 状态继续扫描。
如何用 C++ 实现一个可读、可调试的词法分析状态机
直接说结论：别写“通用状态机框架”，先手写 switch 驱动的状态跳转，配合明确的 enum class State 和单字符缓冲（char c），比抽象出 TransitionTable 更快定位问题。真实脚本词法（比如类 Lua 的轻量语法）里，状态数通常不超过 20，硬编码反而更稳。
常见错误是过早抽象——比如把所有跳转塞进二维数组，结果遇到 /* comment */ 嵌套或行续符（ 换行）时逻辑崩坏；或者用 std::string 累积 token 字面量，导致性能卡在内存分配上。
- 每个状态只处理「当前字符」，不预读多个字符（除非必须，如
==和=区分） - 用
std::vector<token></token>收集结果，Token至少含type（enum class TokenType）、lexeme（std::string_view，指向源码原始缓冲区）、line和col - 状态函数返回
State，错误状态（如State::ERROR）立即终止并记录位置，不尝试“容错恢复”
数字、标识符、字符串字面量三类 Token 的边界判定关键点
这三类占实际脚本词法 80% 以上，但边界条件极易出错。核心矛盾在于：**起始字符合法 ≠ 整个序列合法**，而状态机必须在「确认终结」那一刻才产出 Token。
例如识别十进制整数：123 是 TOKEN_NUMBER，但 123x 中的 123 是完整数字，x 要回退并重新开始；而 0x123 必须在读到 x 后切换到十六进制分支，不能等到第二个字符才判断。
立即学习“C++免费学习笔记（深入）”；
- 标识符：首字符为
[a-zA-Z_]，后续为[a-zA-Z0-9_]；注意保留字（if、while）必须在标识符状态「收尾后」查表匹配，不能在状态中硬编码分支 - 字符串：双引号起始后，需处理转义（
"、\、" - 数字：小数点后必须跟数字（
3.非法，3.0合法），科学计数法e后可选+/-，但必须有后续数字（1e+非法）
为什么 std::string_view 比 std::string 更适合 Token 的 lexeme 字段
因为词法分析器不拥有源码内存所有权——输入通常是 const char* 或 std::string_view source。若用 std::string 存 lexeme，每次识别出 while 就要拷贝 5 字节，对千行脚本就是数百次 malloc/free；而 std::string_view 只存指针+长度，构造零开销。
但陷阱在于：如果源码缓冲区生命周期短于 Token 容器（比如传入临时 std::string{...}.c_str()），string_view 会悬空。实操中必须确保源码对象（如 std::string source_code）的生存期覆盖整个分析 + 后续解析过程。
- 声明 Token 时：
struct Token { TokenType type; std::string_view lexeme; int line; int col; }; - 构造 Token 时：
tokens.emplace_back(TokenType::IDENTIFIER, std::string_view{start_ptr, current_ptr - start_ptr}, line, col); - 绝对不要对临时字符串调用
c_str()后传给string_view
错误处理不是“吞掉非法字符”，而是精准报告 + 状态重置
遇到非法字符（如 @、$）时，典型错误是跳到 State::ERROR 然后直接 return，导致后续字符全丢。正确做法是：记录当前位置 → 输出错误信息 → 将当前字符视为独立 TOKEN_ERROR → 强制跳转到 State::START 继续扫描。
这样能保证：1）错误位置精确到列；2）后续合法代码仍可被分析（便于用户看到多个错误而非只报第一个）；3）不会因单个错误导致整个文件无法构建 AST。
- 错误 Token 的
lexeme应为std::string_view{&c, 1}，即仅包含那个非法字符 - 状态机主循环中，若进入
State::ERROR，必须消费当前字符（++current），否则无限循环 - 不实现“跳过注释后重试”，注释本身已是合法 Token，错误就该在注释外发生
真正难的是多字节字符边界和 BOM 处理——如果脚本含 UTF-8 中文变量名，状态机得能区分 ASCII 字母和 UTF-8 多字节头字节（0xC0–0xF4），但这已超出“简单脚本”范畴，优先保证 ASCII 正确性，UTF-8 作为可选扩展更实际。
