tokenizer不可见的根本原因是PHP版本低于4.3.0或配置不一致：运行php -r "echo extension_loaded('tokenizer') ? 'enabled' : 'disabled';"验证，检查php --ini路径及对应php.ini中extension=tokenizer是否启用，并确保phpenv切换版本≥5.6.0且与CLI/Apache配置对齐。
phpEnv 默认已启用 tokenizer 扩展，无需额外安装或编译 —— 但必须确认当前所选 PHP 版本 ≥ 4.3.0，且未被手动禁用。
为什么在 phpEnv 中 tokenizer 看不到？
常见现象是运行 php -m | grep tokenizer 无输出，或 token_get_all 报 Call to undefined function token_get_all()。根本原因不是 phpEnv 缺失该扩展，而是：
- 你切换的 PHP 版本实际低于 4.3.0（phpEnv 支持旧版 PHP，比如 5.2.x，而 tokenizer 在 4.3.0 才内置）
- PHP 编译时加了
--disable-tokenizer（极少见，但自定义构建镜像或源码编译时可能发生） - 你在 CLI 模式下测试，却误用了 Apache 模块的 php.ini（反之亦然），导致配置不一致
如何验证当前 PHP 是否真支持 tokenizer
不要只看 phpEnv 列表或版本号，直接执行以下命令：
php -r "echo extension_loaded('tokenizer') ? 'enabled' : 'disabled';"
如果输出 disabled，再检查：
立即学习“PHP免费学习笔记（深入）”；
-
php --ini查看加载的 php.ini 路径 - 打开该 ini 文件，搜索
extension=tokenizer或extension=tokenizer.so（Linux/macOS）/extension=php_tokenizer.dll（Windows） - 若存在且未被分号注释，说明扩展已声明加载；若不存在，说明该版本 PHP 是编译禁用的（非 phpEnv 配置问题）
phpEnv 下 tokenizer 不可用的实操修复路径
绝大多数情况属于「版本过低」或「ini 加载错位」，按顺序排查：
- 运行
phpenv versions，确认当前phpenv shell或phpenv global设置的是 ≥ 5.6.0 的版本（推荐 7.4+ 或 8.1+，兼容性与功能最稳） - 执行
phpenv install --list | grep -E "^(7\.|8\.)"查看可安装的现代版本，用phpenv install 8.1.28安装后切换 - 若坚持用旧版（如 5.3.x），需确认其编译参数含
--enable-tokenizer；phpEnv 默认构建脚本通常启用，但第三方预编译包可能裁剪 - Windows 用户注意：
php.ini中的extension_dir必须指向真实扩展目录（如ext子目录），且php_tokenizer.dll文件确实存在于该路径下
真正容易被忽略的点：phpEnv 管理的是多个 PHP 二进制和配置，但 php -v 和 phpinfo() 显示的版本、ini 路径、扩展列表，三者必须严格对齐 —— 少一个对齐，tokenizer 就会“消失”。
