词法分析器基于状态机逐字符读取源码并迁移状态：1.定义State枚举与字符缓存；2.关键字/标识符通过缓冲与哈希比对识别；3.数字按进制与格式分状态处理；4.字符串/字符字面量严格控边界；5.注释与空白进入忽略状态并更新行号。
一、构建字符流读取与状态迁移框架
词法分析器需逐字符读取输入源码，并依据当前状态与输入字符决定下一状态。状态机跳转逻辑依赖于预定义的状态转移表或显式条件分支，确保每个字符被精确归类为标识符、数字、运算符等Token类型。
1、定义枚举类型State表示当前状态，包括INIT、IN_IDENTIFIER、IN_NUMBER、IN_STRING、IN_COMMENT等基础状态。
2、声明char变量c用于缓存当前读取字符，使用std::istream&持续获取下一个字符。
3、初始化state为INIT，进入主循环：每次读取一个字符后，根据state和c查表或判断，更新state并执行对应动作（如记录起始位置、追加到缓冲区、生成Token）。
立即学习“C++免费学习笔记（深入）”；
4、当状态转移到ACCEPT或ERROR时，触发Token产出或错误报告，随后重置缓冲区并回到INIT状态。
二、实现关键字与标识符识别分支
标识符以字母或下划线开头，后续可接字母、数字或下划线；关键字是预定义的保留字，在识别出完整标识符后需进行哈希比对以区分普通标识符与关键字。
1、在state == INIT且c为字母或下划线时，切换至IN_IDENTIFIER状态，并将c加入token_buffer。
2、在state == IN_IDENTIFIER且c为字母、数字或下划线时，继续追加c至token_buffer。
3、在state == IN_IDENTIFIER且c为非标识符续接字符时，立即停止收集，调用lookup_keyword(token_buffer)函数比对关键字表。
4、若匹配成功，生成KEYWORD类型的Token，值为对应关键字枚举；否则生成IDENTIFIER类型Token，值为token_buffer内容。
三、处理整数与浮点数字面量的状态跳转
数字字面量分为整数（仅含数字与可选前缀0x/0X/0b/0B）和浮点数（含小数点或指数部分），需通过不同子状态区分进制与格式，避免误判。
1、在INIT状态下遇到数字字符'0'，检查后续字符是否为'x'、'X'、'b'、'B'，若是则进入IN_HEX或IN_BINARY子状态，并跳过前缀。
2、在INIT状态下遇到数字字符'1'-'9'，进入IN_DECIMAL状态；若紧随其后出现'.'，则转入IN_FLOAT_POINT状态。
3、在IN_DECIMAL状态下遇到'.'且其后为数字，切换至IN_FLOAT_PART状态；若遇到'e'或'E'，则切换至IN_EXPONENT状态。
4、当状态退出数字识别流程（如遇到空白、运算符或分隔符），根据最终状态确定Token类型为INTEGER、FLOAT或INVALID_NUMBER，并提交数值字符串供后续转换。
四、解析字符串与字符字面量的边界控制
字符串字面量由双引号包围，支持转义序列；字符字面量由单引号包围，仅允许单个字符或合法转义。状态机需严格匹配起始与结束引号，并检测未闭合错误。
1、在INIT状态下读到双引号"，切换至IN_STRING状态，并清空string_buffer。
2、在IN_STRING状态下，若当前字符为"且前一字符非反斜杠，则完成字符串识别，生成STRING_LITERAL Token，内容为buffer中已解码的字符串。
3、在IN_STRING状态下若遇反斜杠\，则读取下一字符并按规则转换（如\n → 换行符），然后继续循环。
4、若在IN_STRING中遇到文件结束或换行符而未闭合引号，立即触发UNTERMINATED_STRING错误，终止当前Token生成。
五、跳过注释与空白字符的状态忽略机制
注释（//单行与/*多行）和空白字符（空格、制表符、换行符）不产生Token，但影响行号计数与语法上下文。状态机需进入专用忽略状态并在满足条件后无损返回INIT。
1、在INIT状态下读到'/'，读取下一字符：若为'/'则进入IN_LINE_COMMENT状态；若为'*'则进入IN_BLOCK_COMMENT状态；否则回退并作为除法运算符处理。
2、在IN_LINE_COMMENT状态下持续读取直至换行符或EOF，期间每遇到换行符，递增line_number计数器，不保存任何内容。
3、在IN_BLOCK_COMMENT状态下读取连续两个字符，若匹配'*'和'/'则退出状态；若遇EOF则报UNTERMINATED_COMMENT错误。
4、在INIT状态下遇到空白字符（isspace(c)为真），直接跳过并继续读取下一个字符，不改变state，不触发任何Token输出。
