用状态机识别C++ Token需定义合法状态（如START、IN_NUMBER）和严格跳转规则，处理回退（如123abc中回退a）、终态封装、关键字查表、ASCII限制及性能优化。
怎么用状态机识别 C++ 中的常见 Token
直接上手写词法分析器，核心不是堆语法树，而是让每个字符“走对路”——状态机就是给字符指路的交通灯。你得先定义好哪些状态是合法的（比如 START、IN_NUMBER、IN_STRING、IN_COMMENT），再明确每个输入字符触发什么跳转。比如读到 '/' 后紧接 '/' 就进单行注释状态，而紧接 '*' 就进多行注释；读到引号就切到字符串状态，直到遇到匹配的结束引号或换行（此时报错）。状态跳转不能靠 if 堆砌，要用 switch 或查表驱动，否则很快失控。
常见错误现象：0x123abc 被当成一个数字（实际应停在 x 处并生成 INT_LITERAL + IDENTIFIER）；"hello\nworld" 没报未闭合字符串错误；/= 被拆成两个 / 和 =。这些都源于状态退出条件没写严，或回退逻辑缺失（比如识别失败时要把最后一个字符“吐回去”）。
如何正确处理回退与 Token 边界
状态机跑着跑着发现“走岔了”，比如在 IN_NUMBER 状态下读到字母 a，这时候不能直接扔掉前面的 123，而要让输入流指针回退一格，然后把 123 作为 INT_LITERAL 输出，再从 a 开始新 Token。C++ 里常用 std::string_view 配合索引变量（如 pos）来模拟“可回退的流”，避免拷贝；或者用 std::istringstream + peek()/unget()，但注意 unget() 在某些标准库实现中可能只支持一次回退。
- 每次成功进入终态（如
END_OF_NUMBER）时，立即用当前start_pos到pos-1构造Token - 所有非终态转移（如
IN_NUMBER → INVALID）必须触发--pos再 break - 字符串和注释里遇到换行符（
'\n'）要立刻报错，不能等状态自然退出 - 空格、制表符、换行符在
START状态下直接跳过，不生成WSToken（除非你真需要）
C++ 实现中容易被忽略的细节
很多初版代码把关键字当普通标识符处理，结果 if 和 my_if 产出同一个 IDENTIFIER Token。正确做法是在识别出完整标识符后，查一个静态 const map：比如 std::unordered_map<:string_view tokentype> keywords = {{"if", IF}, {"while", WHILE}};</:string_view>。别用 std::map，查找慢；也别在每次调用时构造 map，放全局或类静态里。
立即学习“C++免费学习笔记（深入）”；
另一个坑是 Unicode 支持——如果你只用 char 逐字节读，遇到 UTF-8 编码的中文变量名会直接崩。简单脚本分析器可先限定 ASCII，但要在注释里写明：“不支持非 ASCII 标识符”。若真要支持，得用 std::mbtowc 或第三方库（如 utf8cpp），但这就超出“简单”范畴了。
性能提示：Token 类别枚举值建议用 enum class TokenType : uint8_t，省内存；字符串内容用 std::string_view 存，避免无谓拷贝；整个词法器对象设计为 move-only（禁用拷贝构造），因为内部通常持有输入缓冲区视图。
一个能跑通的最小骨架示例
下面这段不是玩具代码，删掉注释就能编译运行（需 C++17）：
enum class TokenType { IDENTIFIER, INT_LITERAL, STRING_LITERAL, PLUS, SEMICOLON, EOF_TOKEN };
struct Token { TokenType type; std::string_view lexeme; int line; };
<p>class Lexer {
std::string_view src;
size_t pos = 0;
int line = 1;
public:
explicit Lexer(std::string_view s) : src(s) {}
Token next_token() {
while (pos < src.size() && isspace(src[pos])) {
if (src[pos] == '\n') ++line;
++pos;
}
if (pos >= src.size()) return {TokenType::EOF_TOKEN, {}, line};</p><pre class='brush:php;toolbar:false;'> size_t start = pos;
char c = src[pos++];
switch (c) {
case '+': return {TokenType::PLUS, src.substr(start, 1), line};
case ';': return {TokenType::SEMICOLON, src.substr(start, 1), line};
case '"': {
while (pos < src.size() && src[pos] != '"' && src[pos] != '\n') ++pos;
if (pos < src.size() && src[pos] == '"') ++pos;
else return error("unclosed string", start);
return {TokenType::STRING_LITERAL, src.substr(start, pos - start), line};
}
default:
if (isalpha(c) || c == '_') {
while (pos < src.size() && (isalnum(src[pos]) || src[pos] == '_')) ++pos;
auto id = src.substr(start, pos - start);
static const std::unordered_map<std::string_view, TokenType> kw{
{"if", TokenType::IDENTIFIER}, // 简化示意，实际应映射到 IF
{"else", TokenType::IDENTIFIER}
};
return {kw.contains(id) ? kw.at(id) : TokenType::IDENTIFIER, id, line};
}
if (isdigit(c)) {
while (pos < src.size() && isdigit(src[pos])) ++pos;
return {TokenType::INT_LITERAL, src.substr(start, pos - start), line};
}
return error("unexpected character", start);
}
}private: Token error(const char msg, size_t p) { / ... */ } };
这个骨架没做回退（比如 123abc 会吞掉 abc），也没处理注释或运算符优先级（== vs =），但它展示了状态切换的真实节奏：跳过空白 → 单字符快速分发 → 多字符循环扫描 → 终态封装。真正复杂的地方不在状态数，而在每个状态出口是否考虑了所有非法终止路径——那是调试时最耗时间的部分。
