用std::unordered_map+std::function封装状态转移表，每个状态函数只处理当前字符、决定跳转并可选产出token；状态名用枚举；字符串转义由Token::value()懒解析；token存原始指针而非拷贝字符串。
如何用 C++ 实现一个可读、可调试的词法分析状态机
直接说结论：别手写 giant switch-case 堆状态跳转，用 std::unordered_map + std::function 组合封装状态转移表，比硬编码跳转更易维护、更易单测。核心不是“状态多”，而是“状态间跳转条件是否清晰可枚举”。
常见错误是把所有字符判断塞进一个 while 循环里嵌套 if-else，结果新增一个注释类型或字符串转义规则就全乱。正确做法是让每个状态只关心两件事：当前读到什么字符、该往哪个状态走、要不要 emit token。
- 每个状态对应一个独立函数，签名统一为
State next_state(char c, Token& out_token) - 状态名用枚举（如
STATE_START,STATE_IN_NUMBER），避免 magic number - 转移表定义在类外或静态成员里，方便单元测试 mock 跳转逻辑
- 不要在状态函数里做 peek() 或 unget() —— 输入流应由上层统一推进，状态函数只 consume 当前字符
数字字面量和标识符共用前缀时怎么拆分
典型场景：123abc 是非法 token，但 123 是 number，abc 是 identifier；而 123_456 在支持下划线分隔符的语言中是合法 number。问题不在识别，而在「何时切分」和「谁负责回退」。
关键原则：状态机不回退，回退由驱动层完成。即当从 STATE_IN_NUMBER 读到非数字字符 c，先 emit 已积累的数字 token，再将 c 留给下一个循环处理（比如 push_back 到输入缓冲区末尾）。
立即学习“C++免费学习笔记（深入）”；
-
STATE_IN_NUMBER遇到'a'～'z'、'A'～'Z'、'_'时，立即结束数字状态并返回STATE_START，且不 consume 当前字符 - 标识符状态（
STATE_IN_IDENTIFIER）需显式排除纯数字开头的 case，否则123abc会被误认为 identifier - 下划线支持必须在数字状态内处理：仅当前面是数字或另一个下划线时才允许，否则切到 identifier
字符串字面量中的转义和换行处理为什么总出错
错误现象："hello
world" 解析成两个 token，或崩溃在 EOF 前未闭合引号，或把 u0061 当普通字符。根本原因是没区分「输入字符流」和「语义字符值」——状态机只管前者，转义解析是 token 构造阶段的事。
建议把字符串处理拆成两层：状态机只识别引号起止和基本转义结构（如 "、\、
），具体 Unicode 解码、换行标准化等交给 Token::value() 懒计算。
- 进入字符串后，状态机只响应
'"'（结束）、'\'（转义开始）、' '（报错或允许多行，取决于语言） - 遇到
\后，下一个字符必须被 consume，无论是否合法；非法转义（如q）不终止状态，记为原始字符 - 绝对不要在状态函数里调用
std::stoi或std::wstring_convert—— 这些属于 token 语义层，和词法无关
Token 类型设计和内存管理的实际取舍
很多人一上来就定义 struct Token { Type type; std::string value; int line; int col; }，结果发现性能差、拷贝多、调试时 value 显示不友好。真实项目里，token 应尽量轻量，value 可延迟解析或引用源文本。
推荐方案：token 存储原始位置（const char* start, const char* end）和类型，value() 方法按需 substr。这样避免中间字符串构造，也方便调试时直接打印源片段。
- 如果 lexer 和 parser 共享同一块内存（如 mmap 文件），用指针比用
std::string更安全高效 -
Type枚举值要预留扩展位，比如TOKEN_COMMENT_BLOCK和TOKEN_COMMENT_LINE分开，别合并成TOKEN_COMMENT - 对关键字（
if,while）做哈希查表，而不是每次 strcmp —— 用std::unordered_set<:string_view></:string_view>初始化一次即可
最常被忽略的是行号列号更新时机：必须在 consume 换行符 '
' 的那个状态里更新 line++，且 col 重置为 0；若在驱动层统一计数，会漏掉多字节字符或 CR/LF 差异导致偏移错乱。
