结论：用 enum class 定义状态、std::map 或数组查表驱动跳转，transition(State, char) 函数显式处理每种字符；数字识别分三阶段严格校验；标识符与关键字分离处理；注释/空白需维护行号且禁用 locale 依赖函数；所有状态必须处理 EOF。
如何用 C++ 实现一个可读、可调试的词法分析状态机
直接说结论：别手写 giant switch-case 堆叠，用 std::map 或 enum class + 数组查表驱动状态跳转更清晰；状态机本身不难，难在边界处理——比如 '/' 后跟 '*' 是注释开始，但跟 '/' 是行注释，跟数字可能是除号或浮点字面量。这些分支必须显式拆开，不能靠“默认 fallback”掩盖。
建议把状态定义为 enum class State { Start, InNumber, InIdentifier, InComment, ... }，转移函数签名设为 State transition(State current, char c)，每个状态分支只处理自己关心的字符，其余统一返回 State::Error 或交由上层判定是否终止当前 token。
- 避免在状态内做 token 语义判断（如“是不是关键字”），那属于后续解析阶段的事；词法器只负责切出
Identifier、Number、Operator这类原始类别 - 所有状态跳转必须覆盖 EOF 输入，否则遇到文件末尾会卡死或越界读取
- 用
std::string_view记录 token 字面值（起始+长度），避免频繁构造std::string；但注意它不拥有内存，确保源缓冲区生命周期长于 token 使用期
如何正确识别数字字面量并区分整数/浮点/十六进制
数字识别是状态机里最容易漏 case 的部分。C++ 源码中 123、0xFF、3.14、.5、1e-2 都合法，但 0xG1、1.2.3、e5 不合法。关键不是“支持多少种格式”，而是“在哪一步拒绝非法输入”。
推荐分三阶段推进：InDecimalInt → InFloatAfterDot → InExponent，每个阶段只响应有限字符集。例如进入 InExponent 后，下一个字符必须是 '+'、'-' 或数字，否则立刻终止 token 并报错。
立即学习“C++免费学习笔记（深入）”；
-
0x开头必须紧接十六进制数字（0-9a-fA-F），中间不能有空格或下划线（除非你明确支持 C++14 的数字分隔符） -
.单独出现不是浮点——必须前后至少一边有数字，即.5和3.合法，但.单独不合法 - 指数部分（
e或E）后若无数字，token 应截断在e处，类型为Operator，而非强行吞掉后面非法字符
标识符与关键字怎么高效区分而不影响性能
词法器不该在每次扫到 Identifier 就遍历关键字表。正确做法是：状态机只产出 Token{Type::Identifier, value}，关键字检查延迟到语法分析前或首次使用该 token 时做。如果真要提前判别，用 std::unordered_set<:string_view></:string_view> 预载关键字集合（如 "if"、"while"、"return"），查表复杂度 O(1)。
注意两个细节：
- C++ 关键字是大小写敏感的，
If是合法标识符，不是关键字 - 标识符首字符必须是字母或下划线，后续可含数字，但不能以数字开头；状态机中
InIdentifier状态应禁止接收数字作为第一个字符 - 不要把预处理器指令（如
#include）当作关键字处理——它们根本不在词法分析阶段识别，而是由预处理器单独剥离
注释和空白字符的处理策略与陷阱
空白字符（空格、制表符、换行）和注释都不生成 token，但它们影响行号计数和错误定位。最稳妥的方式是：每消费一个 '\n' 就递增 line_number，并在 token 结构体中存 line 和 column 字段。
多行注释 /* ... */ 容易出问题：嵌套不合法，但 /* */* 中的 * 不属于注释结束；更危险的是 /* 到文件末尾没闭合，必须检测 EOF 并报错。
- 行注释
//遇到换行即终止，不需要匹配'\n'后的任何内容 - 字符串字面量内的
//不是注释，所以状态机必须能区分上下文——这意味着你需要一个“嵌套状态栈”或至少一个in_string标志位 - 跳过空白时别用
std::isspace()，它受 locale 影响；直接比对' '、'\t'、'\n'、'\r'、'\f'、'\v'更可靠
状态机最难的部分从来不是跳转逻辑本身，而是如何让每个状态的职责单一、边界清晰、错误反馈及时。很多人写完发现 0x.1 被误判成浮点，或 1e 吞掉了下一行的数字——这类问题几乎都源于某个状态缺少 EOF 处理，或转移条件写成了 else if 链而非互斥判断。写完务必用最小反例测试：单字符输入、空文件、孤立符号、跨行注释、十六进制前缀后无数字。
