最可靠的段落提取方法是先用find_all("p")定位段落，再逐个调用get_text(strip=True)；对div伪装段落需按class或CSS选择器识别；JS渲染内容须改用Selenium等方案。
get_text() 不是万能的，直接调用常导致换行混乱、空格堆积或段落粘连。真正能稳定提取段落文本的，是结合标签定位 + 分隔符控制 + 结构判断的组合操作。
用 find_all("p") 定位段落再逐个 get_text()
这是最可靠的第一步：不依赖全文解析，而是明确只抓 <p> 标签。浏览器和 CMS 生成的内容中，语义化段落基本都落在 <p> 内，比通配 get_text() 更可控。
- 必须加
strip=True，否则每段首尾常带大量换行/空格 - 对每个
<p>单独调用.get_text(strip=True)，避免跨段污染 - 若段落内含
<strong>、<em>等内联标签，get_text()默认会保留其文本，无需额外处理 - 遇到空
<p></p>或仅含<br>的情况，get_text(strip=True)返回空字符串，可直接过滤
get_text(separator="\n", strip=True) 的真实效果
很多人以为设了 separator="\n" 就能“按段落换行”，其实它只是在相邻文本节点之间插入换行——而 HTML 中的 <p>、<div>、<h2> 等块级元素之间未必有独立文本节点。结果往往是：两段之间多出 3–5 个 \n，中间还夹着空格。
- 仅适用于结构极简、无嵌套、无 JS 动态插入的静态 HTML
-
separator对同一标签内的换行无效（比如<p>第一行<br>第二行</p>中的<br>不产生新节点） - 中文场景下慎用
separator=""，易造成“段落一结尾字”和“段落二开头字”粘连成词
遇到 <div> 伪装段落怎么办？
不少 CMS 或前端框架不用 <p>，而用 <div class="paragraph"> 或 <div style="margin:1em 0"> 模拟段落。这时不能硬编码找 p，得靠属性或样式线索。
立即学习“前端免费学习笔记（深入）”；
- 优先查
class名称：如soup.find_all("div", class_=re.compile(r"(para|text|content|post)-?body", re.I)) - 用 CSS 选择器更灵活：
soup.select("div.paragraph, div.article-content > div:not([class])") - 若只有视觉线索（如上下边距），
get_text()无法感知 CSS，只能退回到人工标注样本 + 正则启发式匹配 - 注意排除导航栏、页脚等同为
div但非正文的区块，建议先soup.body或限定在article/main内操作
JavaScript 渲染内容导致 <p> 找不到
用 requests 拿到的 HTML 里压根没有 <p>？那大概率内容是 JS 动态注入的。此时 BeautifulSoup 解析的是初始 HTML 骨架，不是用户看到的页面。
- 先确认：打开浏览器开发者工具 → Elements 面板，搜索
<p>，看是否存在；再切到 Network → 刷页面，看 XHR/Fetch 请求是否返回 JSON 或 HTML 片段 - 若确认是动态加载，
requests + BeautifulSoup失效，必须换Selenium或Playwright等浏览器自动化方案 - 小概率可绕过：某些站点 API 接口未鉴权，直接请求
/api/content?id=123可能拿到纯文本或结构化数据 - 不要试图用正则从 JS 字符串里硬挖
<p>，维护成本高且极易断裂
真正难的从来不是“怎么写一行 get_text()”，而是判断当前 HTML 的段落是否由语义标签承载、是否被 JS 延迟渲染、是否被 CSS 视觉模拟——这些信息不会出现在代码里，得靠 inspect 元素、看 network 请求、甚至读 CMS 文档才能确认。
