get_text()默认线性拼接文本节点、不保留块级语义换行；需显式设separator='\n'并strip=True来实现自然段落分隔，且须预清理script/style等无关标签。
get_text() 是最常用但最容易误用的方法
直接调用 get_text() 看似简单，但默认行为会让段落粘连、空行错乱、中文分词断裂。它不感知 HTML 的块级语义，只是把所有文本节点线性拼接，separator 控制的是“标签之间”的连接方式，不是“保留原始换行”。
- 默认
separator=''→<p>第一段</p><p>第二段</p>变成"第一段第二段" -
separator=' '适合英文，但对中文会生成“第一段 第二段”，中间多出空格，影响 NLP 分词或关键词匹配 -
strip=True只清理每段首尾空白，不会合并连续空行；strip=False则可能带大量\n\n\n - 遇到
<pre>或内联\n字符串（如后端返回的纯文本），get_text()完全无感——它只处理 DOM 树，不解析字符串内容
想保留自然段落？必须显式控制 separator 和预处理
要让 <p>、<h2>、<div> 等块级元素之间有合理换行，关键不是“加样式”，而是用 separator='\n' + 清理冗余空白。
- 优先用
soup.find('main').get_text(separator='\n', strip=True)，避免一上来就对整个soup调用 - 若发现换行过多（比如每个
<br>都变成空行），先soup.br.decompose()或用正则后处理：re.sub(r'\n\s*\n', '\n\n', text) - 含
<script>、<style>、<nav>的页面，务必提前清理：soup(['script', 'style', 'nav', 'footer']).decompose() -
<i class="icon"></i>这类空标签不影响结果，不用单独处理
遇到 .string 返回 None？说明节点结构不“干净”
.string 只在标签下**仅有唯一文本子节点**时才有效，一旦嵌套了任何标签（哪怕一个 <strong> 或 <span>），就返回 None。这不是 bug，是设计约束。
anything-to-html
下载
将调研报告、方案对比、数据分析、需求梳理、会议纪要、设计说明、代码评审、学习笔记等任务产物输出为可在浏览器直接打开的单文件 HTML，替代 Markdown 作为最终交付物。Markdown 在信息密度、视觉清晰度和可分享性上已跟不上 AI 产物的丰富度，HTML 能同时承载排版、表格、SVG 等。
- 错误写法：
soup.div.string对于<div>Hello <b>World</b></div>→None - 正确替代：
soup.div.get_text()或''.join(soup.div.stripped_strings) - 如果只要首个文本片段（忽略后续标签内容），可用
next(soup.div.stripped_strings, '') - 需要逐段处理（如提取所有
<li>文本但跳过其内部链接文字），用[li.get_text(strip=True) for li in soup.find_all('li')]
JS 动态渲染的内容，BeautifulSoup 本身无解
如果标题、正文是通过 document.title = 'xxx' 或 el.innerHTML = 'xxx' 注入的，BeautifulSoup 解析的是原始 HTML 字符串，根本拿不到这些内容。
立即学习“前端免费学习笔记（深入）”；
- 检查源码（Ctrl+U）：如果目标文本不在原始 HTML 中，
get_text()再怎么调参都无效 - 此时必须换工具：Selenium +
driver.find_element(By.TAG_NAME, 'main').text，或 Playwright 的element.text_content() - 注意：
driver.execute_script('return document.body.innerText')比.text更接近用户所见，但需自行过滤display: none元素 - 不要对用户输入直接用
innerHTML注入再读innerText，有 XSS 风险；应先做白名单过滤或改用textContent
真正难的从来不是“怎么提取”，而是判断该用 get_text() 还是绕过 DOM 直接模拟渲染——前者快但受限于静态结构，后者准但重。别等跑完才发现标题是 JS 写的。
