本文介绍一种基于关键词标准化排序的 php 文本去重方法，适用于需将“beef bbq recipe”“bbq recipe beef”等词序不同但词汇完全相同的行视为重复的场景，通过预处理实现语义级去重。
本文介绍一种基于关键词标准化排序的 php 文本去重方法，适用于需将“beef bbq recipe”“bbq recipe beef”等词序不同但词汇完全相同的行视为重复的场景，通过预处理实现语义级去重。
在常规文本去重中，array_unique() 仅能识别字面完全一致的重复行，无法处理语义等价但词序不同的情况（如 "recipe bbq beef" 与 "beef bbq recipe"）。要实现真正的语义去重，核心思路是：将每行拆分为单词 → 统一排序 → 合并为标准形式 → 去重 → 还原原始格式（可选）。
以下为完整、健壮的 PHP 实现方案：
<?php
// 读取原始文件（自动处理换行符，保留内容纯净）
$lines = file('input.txt', FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);
// 步骤1：对每一行进行「关键词标准化」——拆分、排序、重组
$normalized = array_map(function($line) {
$words = preg_split('/\s+/', trim($line), -1, PREG_SPLIT_NO_EMPTY);
sort($words, SORT_STRING | SORT_FLAG_CASE); // 忽略大小写排序，提升鲁棒性
return implode(' ', $words);
}, $lines);
// 步骤2：基于标准化结果去重，同时保留原始行索引映射（关键！）
$uniqueNormalized = array_unique($normalized);
$uniqueIndices = array_keys($uniqueNormalized);
// 步骤3：提取对应原始行（保持原始格式，如空格/大小写不变）
$resultLines = array_intersect_key($lines, array_flip($uniqueIndices));
// 写入输出文件，每行以 \n 分隔（确保跨平台兼容）
file_put_contents('output.txt', implode("\n", $resultLines) . "\n");
?>✅ 关键优势说明：
- 使用 FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES 避免空行和换行符干扰；
- preg_split('/\s+/', ..., PREG_SPLIT_NO_EMPTY) 更精准地按任意空白符分割，过滤空项；
- SORT_STRING | SORT_FLAG_CASE 实现不区分大小写的字母序排序，避免 "Beef" 和 "beef" 被误判为不同；
- 通过 array_intersect_key() 严格还原原始行内容，而非输出标准化后的字符串（如你期望保留 "beef bbq recipe" 而非 "bbq beef recipe"）。
⚠️ 注意事项：
立即学习“PHP免费学习笔记（深入）”；
- 该方法假设「语义相同 = 单词集合完全相同」，不处理同义词（如 "fast" / "quick"）或词形变化（如 "recipes" / "recipe"），如需更高级语义匹配，需引入 NLP 库（如 spaCy + PHP bridge 或外部 API）；
- 若原始文件含制表符、全角空格等特殊空白，请在 trim() 后补充 str_replace() 清洗；
- 大文件（>10MB）建议改用流式处理（fgets 循环），避免内存溢出。
总结：语义去重的本质是定义「相等性」。本文通过关键词归一化排序，将字符串相等性升级为词汇集合相等性，以极简代码达成业务目标——既准确，又具备生产可用性。
