本文介绍一种内存友好的 php 解决方案，通过构建字符级字典树（trie）索引文件1首列，并逐行匹配文件2中的前缀，精准提取所有匹配的原始行（支持仅返回首列或完整行），适用于大文件场景。
本文介绍一种内存友好的 php 解决方案，通过构建字符级字典树（trie）索引文件1首列，并逐行匹配文件2中的前缀，精准提取所有匹配的原始行（支持仅返回首列或完整行），适用于大文件场景。
在处理大规模文本数据时，简单地将整个文件载入内存进行 strpos 或正则匹配极易引发内存溢出（OOM）。尤其当 File1 达到数百 MB 甚至 GB 级别，而 File2 包含成千上万条搜索前缀时，传统暴力遍历（对 File2 每行扫描全量 File1）时间复杂度为 O(n×m)，完全不可接受。
本教程提供的方案采用基于字节偏移的前缀树（Trie）索引策略，核心思想是：
-
只读一次 File1：逐行解析，提取每行首列（
|分隔）作为关键词； - 构建轻量 Trie 结构：每个节点代表一个字符，路径构成前缀；关键创新在于——每个叶节点不存储整行内容，而是记录该前缀在原始文件中的起始字节偏移量（byte offset）；
-
按需读取匹配行：对 File2 中每个 ID，沿 Trie 快速定位所有匹配的偏移量；再用
fseek()+fgetcsv()精准跳转并读取对应行，避免加载无关数据。
该设计确保：
✅ 内存占用与 File1 行数无关，仅与唯一前缀字符总数相关（通常远小于总字符数）；
✅ 支持任意长度前缀匹配（如 "4" 匹配所有以 4 开头的行，"407166" 精确匹配）；
✅ 输出灵活：可返回完整 CSV 行（数组）或仅首列字符串（启用 $firstColumnOnly = true）。
使用示例
// 1. 构建索引（仅需执行一次，后续可复用）
$tree = new IdTree('file1.txt', '|');
// 2. 匹配并获取完整行（默认行为）
$fullMatches = $tree->getLinesMatchingIdFile('file2.txt');
// 输出：[ ['407166210197xxxx','xx','xxxx','xxx'], ... ]
// 3. 或仅提取首列（符合题目 OUTPUT 格式）
$idsOnly = $tree->getLinesMatchingIdFile('file2.txt', true);
// 输出：['407166210197xxxx', '521307101305xxxx', '521307101485xxxx']
print_r($idsOnly);关键注意事项
-
文件编码与格式：默认假设 UTF-8 且无 BOM；若含中文或特殊符号，请在
formatWord()方法中调整正则（当前仅保留a-z0-9和空格）； -
分隔符兼容性：
IdTree构造函数第二个参数可指定任意分隔符（如\t,,）； -
性能优化点：
- 若已知所有 ID 长度固定（如均为 6 位），可在
findByteOffsetsForId()中提前截断charVector，减少递归深度； - 对超大 File1，可考虑将 Trie 序列化到磁盘（利用
jsonSerialize），避免每次启动重建；
- 若已知所有 ID 长度固定（如均为 6 位），可在
-
错误处理：代码内置
fopen失败抛异常，生产环境建议增加try/catch并记录日志； -
内存边界：即使处理 1GB 文件，只要前缀重复率高（如大量
521307xxxxxx），Trie 节点数仍可控；极端稀疏数据下，节点数 ≈ 总字符数，此时建议改用外部排序或数据库。
此方案不仅解决了题目需求，更提供了一种可扩展的“外存索引”范式——当数据无法全量驻留内存时，用结构化索引 + 随机读取，平衡时间与空间效率。对于日志分析、金融账号匹配、CDN 日志去重等场景，具有直接工程价值。
