phpEnv 默认不启用 tokenizer 扩展，需手动在对应版本的 php.ini 中取消 extension=tokenizer（Windows 为 tokenizer.dll）前的分号并重启服务验证。
phpEnv 默认不启用 tokenizer 扩展，但该扩展在 PHP 4.3.0+ 已内置，**无需编译安装，只需在 php.ini 中启用即可**。如果你用 phpenv 管理多个 PHP 版本，每个版本的配置需单独处理。
确认 tokenizer 是否已编译进当前 PHP
运行以下命令检查：
php -m | grep tokenizer
若无输出，说明未启用（注意：不是“未安装”，而是未加载）。再执行：
php -i | grep "tokenizer support"
如果返回 tokenizer support => enabled，说明已编译支持，只需启用；若返回 disabled 或无此行，则可能该 PHP 构建时用了 --disable-tokenizer —— 这种情况需重装该版本（phpenv install 时加 --enable-tokenizer）。
立即学习“PHP免费学习笔记（深入）”；
在 phpenv 环境中启用 tokenizer 扩展
phpenv 不会自动修改 php.ini，必须手动编辑对应版本的配置文件：
- 先查当前 PHP 版本和配置路径：
php --ini（输出类似Loaded Configuration File: /home/user/.phpenv/versions/8.2.12/etc/php.ini） - 打开该
php.ini，搜索;extension=tokenizer或extension=tokenizer.so - 去掉前面的分号（
;），保存文件 - 重启 PHP 进程（CLI 下无需重启；Web 场景需重启 Apache/Nginx + PHP-FPM）
Windows 用户注意：extension=tokenizer.dll（不是 .so），且确保 extension_dir 指向正确的 ext/ 目录（如 extension_dir = "C:/php/ext"）。
验证 tokenizer 功能是否可用
写个最小测试脚本：
<?php
$tokens = token_get_all('<?php echo "hello";');
var_dump($tokens[0][0] === T_OPEN_TAG); // 应为 true
echo token_name(T_ECHO); // 输出 "T_ECHO"
?>
若报错 Call to undefined function token_get_all()，说明没生效；若正常输出，说明已就绪。常见失败点：
- 改错了其他版本的 php.ini（比如系统全局的，而非 phpenv 当前版本的）
- PHP CLI 和 Web 使用不同 php.ini（用
php --ini和phpinfo()分别确认） - phpenv 切换版本后未重新加载配置（执行
phpenv rehash并确认phpenv version输出正确）
tokenizer 的核心价值在于静态分析 PHP 源码结构，但它不解析语法、不执行代码——这意味着它对错误语法（如缺分号、括号不匹配）仍会尽力切分，但结果不可靠。真正做代码扫描或 AST 分析时，别只依赖 token_get_all()，要结合 phptoken::tokenize()（PHP 8.1+）或外部工具如 PHP-Parser。
