get_text()必须显式设separator保留段落边界，strip=True需手动启用；textContent比innerText更可控但需过滤隐藏元素；去重前须normalize（trim→空白折叠→标点统一），语义重复需分层处理。
get_text() 分隔符不设 separator 就会丢段落边界
直接调用 soup.find('div').get_text() 会导致所有子节点文本无分隔拼接，比如 <p>第一段</p><p>第二段</p> 变成 "第一段第二段"。这不是“提取”，是强行抹平结构。
必须显式传 separator 参数来保留语义分隔：
-
.get_text(separator='\n')→ 每个块级元素后换行，适合后续按行切分 -
.get_text(separator=' | ')→ 用竖线分隔，方便人工核对或 CSV 导出 -
.get_text(separator=' ', strip=True)→ 单空格连接 + 去首尾空白，适合关键词抽取
注意：strip=True 默认不启用，不加就可能带大量开头缩进和末尾换行；separator 和 strip 是两个独立开关，不能互相替代。
用 textContent 比 innerText 更可控，但得自己过滤隐藏元素
document.querySelectorAll('h2, p, li').forEach(el => el.textContent) 返回的是 DOM 树原始文本，不含渲染逻辑，也不跳过 display: none 元素——这点既是优势也是坑。
立即学习“前端免费学习笔记（深入）”；
如果你真想只取“可见”内容，就得手动加 CSS 检查：
- 用
window.getComputedStyle(el).display !== 'none'过滤 display 隐藏项 - 用
.visibility !== 'hidden'补充检查 visibility 隐藏 - 跳过
script、style、comment节点（它们的textContent有值但通常不该计入）
别依赖 innerText 做“可见性判断”，它受字体、布局、甚至屏幕缩放影响，同一段 HTML 在不同设备上返回结果可能不同。
去重前不做 normalize 就等于没去重
字符串层面的 new Set(['北京', ' 北京 ', '北京 ']) 会保留全部三项——全角空格、半角空格、首尾空白在 JS 字符串里就是不同字符。
标准化必须包含这三步（顺序不能乱）：
- 先
.trim()去首尾空白 - 再
.replace(/\s+/g, ' ')折叠内部多余空白（含换行、制表符） - 最后
.replace(/[，。！？；："''（）\[\]]/g, '')统一中英文标点（按需启用）
中文场景慎用 .toLowerCase()，它对汉字无效；英文字段若涉及土耳其语等 locale，应改用 .toLocaleLowerCase('en-US') 显式指定。
BeautifulSoup 提取后直接 set 去重会漏掉语义重复
list(set([el.get_text() for el in soup.find_all('p')])) 看似干净，实则危险：它把“北京市朝阳区”和“朝阳区北京市”当两条不同文本，把带 URL 参数的链接 /user?id=123 和 /user?id=456 当作完全无关条目。
真正有效的去重要分层处理：
- 纯文本去重：走
normalize()流程后再set - URL 类型字段：用
urllib.parse.urlparse()提取netloc + path，忽略query和fragment - 标题类字段：可加
Levenshtein.ratio()或sentence-transformers做语义聚类，阈值设 0.92～0.95
最常被忽略的一点：清洗后的文本若需回溯原始 HTML 片段（比如高亮来源），就不能只存清洗结果，得用 (normalized_text, original_element) 元组结构存。
