get_text(separator='\n', strip=True) 是保留段落换行的正确方法:separator='\n'使块级元素文本以换行连接,strip=True清除首尾空白;.text和.string不支持分隔与清理,且.string遇嵌套标签即返回None。

用 get_text(separator='\n', strip=True) 保留段落换行
直接调用 get_text() 默认不保留语义换行,<p></p> 和 <div> 之间的文本会被挤成一行。关键在于显式设置 <code>separator='\n',让不同块级元素的文本以换行符连接,再配合 strip=True 清掉每段首尾多余的空格和回车。
-
separator='\n'是最贴近“保留段落”的实际做法,不是模拟、不是猜测,而是控制拼接逻辑 - 不要用
separator=' '或空字符串,中文里会导致“第一段第二段”粘连 -
strip=True必须开启,否则<p>\n 内容\n</p>会输出\n 内容\n,首尾空白污染后续处理
为什么 .text 和 .string 不适合段落提取
.text 表面看是“取文本”,但它内部不区分节点层级,会把所有子文本无分隔拼接;.string 更脆弱——只要标签里有任何嵌套(比如 <span>加粗</span>文字),它就返回 None。二者都不支持分隔符或清理策略。
-
soup.p.text→ “第一段第二段”(无换行、无间隔) -
soup.p.string→None(只要<p></p>里有任意子标签,就失效) - 真正需要的是递归遍历 + 可控拼接,这正是
get_text()的设计目的
遇到 <br> 或内联换行怎么办
<br> 是空标签,get_text() 默认忽略它,所以原始 HTML 中靠 <br> 实现的换行不会被保留。如果业务上必须还原这类换行(例如论坛发帖、用户输入富文本),得先预处理:把 <br> 替换成占位符或真实换行符。
立即学习“前端免费学习笔记(深入)”;
- 简单方案:
soup.find_all('br')遍历后用replace_with('\n') - 注意顺序:必须在调用
get_text()前完成替换,否则无效 - 慎用全局替换
<br>——有些页面用它做布局 hack,误替会影响段落结构
提取后仍有空行?检查块级元素是否嵌套过深
即使用了 separator='\n',仍可能出现连续多个 \n,常见于 <div><p>内容</p></div> 这类结构:<p></p> 贡献一个 \n,外层 <div> 又贡献一个,结果变成 <code>\n\n。这不是 bug,而是 DOM 结构的真实反映。
- 后处理用
re.sub(r'\n{2,}', '\n', text)合并多余空行 - 更稳妥的做法是定位到具体语义容器(如
soup.article或soup.find(class_='content')),避免从soup.body这种顶层节点开始提取 - 别依赖“看起来像段落”的视觉判断,HTML 的块级语义和 CSS 渲染是两回事
段落不是视觉概念,是 HTML 元素层级与 get_text 拼接逻辑共同作用的结果。最容易被忽略的点是:没意识到 <div><div>文本</div></div> 这种嵌套会引入额外换行,而不是以为“只要设了 separator='\n' 就万事大吉”。



















