C++脚本语言词法分析器有四种实现方案：一、switch-case单字符驱动状态机，状态转移显式可控；二、二维跳转表状态机，按字符类别查表提升效率；三、正则预编译多模式匹配，支持复杂字面量；四、模板元编程编译期状态机，消除运行时分支。
如果您正在使用 C++ 实现脚本语言的词法分析器，需通过状态机精确识别标识符、关键字、数字、字符串、运算符等 Token 类型，则状态跳转逻辑与分词边界判定是核心环节。以下是实现该功能的多种 Token 分词方案：
一、基于 switch-case 的单字符驱动状态机
该方案以当前输入字符为唯一驱动因子，在每个状态内用 switch-case 判断下一跳转目标状态，并在状态迁移过程中累积字符、触发 Token 输出。适用于轻量级脚本解析，状态转移显式可控，调试直观。
1、定义枚举类型 State 表示当前状态，如 START、IN_NUMBER、IN_IDENTIFIER、IN_STRING、IN_COMMENT 等。
2、初始化 state = START，pos 指向输入字符流首地址，token_buffer 清空。
立即学习“C++免费学习笔记（深入）”；
3、循环读取当前字符 ch，依据 state 值进入对应 switch 分支。
4、在 START 状态下，若 ch 为字母或下划线，则 state 跳转至 IN_IDENTIFIER，并将 ch 加入 token_buffer；若 ch 为数字，则跳转至 IN_NUMBER；若 ch 为双引号，则跳转至 IN_STRING。
5、在 IN_IDENTIFIER 状态下，若 ch 为字母、数字或下划线，则追加至 token_buffer；否则回退一个字符，输出 IDENTIFIER 类型 Token 并重置 state 为 START。
6、遇到换行符、空格、制表符或非法字符时，若 token_buffer 非空则立即提交当前 Token，state 回到 START。
二、基于二维跳转表的状态机
该方案预先构建 state × char_class 的跳转矩阵，将字符归类为 LETTER、DIGIT、QUOTE、SLASH、WHITESPACE、OPERATOR_CHAR 等类别，避免对每个字符做冗余判断，提升分支预测效率，适合高频调用场景。
1、定义 enum CharClass { CC_LETTER, CC_DIGIT, CC_QUOTE, CC_SLASH, CC_WHITESPACE, CC_OPERATOR, CC_EOF, CC_OTHER }。
2、声明 static const State transition_table[STATE_COUNT][CC_COUNT]，其中每项填入目标状态或 ERROR 状态。
3、每次读取字符后，先调用 classify_char(ch) 获取其 CharClass，再查表得 next_state。
4、若 next_state 为 ACCEPTING 类型（如 IDENTIFIER_END、NUMBER_END），则从缓冲区截取有效子串，构造 Token{type, lexeme, line, col} 并清空 buffer。
5、若 next_state 为 ERROR，则抛出 LexicalError("unexpected character") 异常并终止当前扫描。
三、基于正则表达式预编译的多模式匹配方案
该方案将所有 Token 模式（如整数、浮点数、标识符、注释）编译为优先级有序的正则规则，利用 std::regex 或手写 NFA 引擎进行最长前缀匹配，天然支持复杂字面量（如十六进制浮点数、带转义的字符串）。
1、定义规则数组：{ {R"(\s+)", SKIP}, {R"(//.*|/\*(?:[^*]|\*+[^/*])*\*+/)", COMMENT}, {R"(\d+\.\d+(?:[eE][+-]?\d+)?|\d+[eE][+-]?\d+|\d+\.)", FLOAT}, {R"(\d+)", INTEGER}, {R"([a-zA-Z_]\w*)", IDENTIFIER} }。
2、按顺序尝试 match，首个成功匹配的规则即被采纳，其余忽略。
3、匹配成功后，提取 matched.str() 作为 lexeme，根据规则 tag 设置 Token.type 为 FLOAT、INTEGER 或 IDENTIFIER。
4、更新输入位置指针，跳过已匹配部分，继续下一轮匹配。
5、若无任何规则匹配且非空白，则报错 "unrecognized token at position" 并返回失败。
四、基于模板元编程的编译期状态机生成
该方案利用 C++17 constexpr 和模板递归，在编译期展开状态跳转路径，消除运行时分支开销，生成高度内联的词法分析函数，适用于嵌入式或实时性严苛环境。
1、定义 struct StateMachine，内部包含 constexpr 静态成员函数 step(state, ch)，返回 pair
2、action 可为 APPEND、EMIT、SKIP、ERROR，由模板参数推导决定，例如 template
3、对关键字 if、else、while 构建专用匹配器，使其在 IN_IDENTIFIER 后续阶段触发 KEYWORD 类型覆盖。
4、主分析循环使用 constexpr while 模拟，输入字符序列作为非类型模板参数传入，整个 tokenize 过程在编译期完成部分验证。
5、运行时仅执行已生成的跳转指令流，buffer 管理与位置追踪仍在线性内存中完成。
