本文介绍如何高效、安全地去除文本文件中重复的行，利用 file()、array_map('trim') 和 array_unique() 组合实现去重，并正确保留原始内容结构，避免索引错乱或空白行干扰。
本文介绍如何高效、安全地去除文本文件中重复的行，利用 file()、array_map('trim') 和 array_unique() 组合实现去重，并正确保留原始内容结构，避免索引错乱或空白行干扰。
在 PHP 中批量处理文本文件去重时，核心目标是：准确识别并移除完全相同的行（忽略首尾空白），同时保持结果可读、可写入、索引连续。用户原代码尝试用 $array[$v]++ 统计频次，虽能发现重复，但无法直接生成去重后的新文件内容；且未处理换行符和空白字符，易导致逻辑误判（如 "abc\n" 与 "abc" 被视为不同）。
✅ 正确做法是分三步处理：
读取文件为数组：file('hott.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES)
—— FILE_IGNORE_NEW_LINES 自动剥离每行末尾换行符；FILE_SKIP_EMPTY_LINES 过滤空行，避免因空行引发的冗余键。统一清理空白：array_map('trim', $lines)
—— 清除每行首尾空格、制表符等，确保语义相同的内容（如 " user@example.com " 与 "user@example.com"）被识别为重复。去重并重置索引：array_values(array_unique($cleaned))
—— array_unique() 移除重复值（保留首次出现项），但返回关联数组（键为原索引）；array_values() 强制重编号为连续数字索引（0, 1, 2…），便于后续遍历或写入。
完整示例代码如下：
<?php
// 读取并预处理：跳过空行、忽略换行符
$lines = file('hott.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);
// 清理空白 + 去重 + 重置索引
$uniqueLines = array_values(
array_unique(array_map('trim', $lines))
);
// 输出验证
print_r($uniqueLines);
// ✅ 可选：写回文件（覆盖原文件）
file_put_contents('hott.txt', implode("\n", $uniqueLines) . "\n");
?>⚠️ 注意事项：
立即学习“PHP免费学习笔记（深入）”；
- 若需保留原始行顺序（array_unique 默认保持首次出现顺序，无需额外排序）；
- 避免直接对 file() 结果调用 array_unique —— 未 trim() 的换行符会导致去重失效；
- 生产环境建议添加错误检查：if (!is_array($lines) || !file_exists('hott.txt')) { die('File read failed'); }；
- 大文件场景（>10MB）应改用流式处理（逐行读取+哈希缓存），防止内存溢出。
通过该方案，你将获得一个索引从 0 开始、无重复、无空白行、内容纯净的行数组——这正是构建可靠数据清洗流程的基础。
