批量提取前须确认HTML是否完整加载：静态页用requests+BeautifulSoup，动态页需Selenium/Puppeteer；提取时用get_text(strip=True)替代.text；lxml解析需显式指定编码；n8n中应使用语义化、耐变的CSS选择器，并做好错误隔离。
批量提取前必须确认HTML源是否已加载完整
如果你用 requests 直接抓取返回的 HTML，但页面依赖 JavaScript 渲染关键内容（比如商品列表、评论区），那后续所有批量提取逻辑都会跑空——soup.find_all("div.product") 返回空列表不是代码写错了，是根本没数据。
判断方式很简单：把 response.text 保存为本地 temp.html，双击用浏览器打开，看目标内容是否可见。不可见 → 必须换 Selenium 或 Puppeteer；可见 → 才能进下一步批量解析。
- 静态页面：用
requests + BeautifulSoup或lxml，速度快、内存占用低 - 动态页面：Selenium 启动浏览器后，需显式等待元素出现，例如
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, ".item-list"))) - 混合页面（部分 JS 加载）：可先用
requests抓首屏 HTML，再对含data-src或data-ajax的容器单独发异步请求补全
用 BeautifulSoup 批量提取时别直接调用 .text
tag.text 是只读属性，它不处理嵌套标签间的空白，也不清理换行符。面对这种 HTML：<div><span>标题</span>\n <small>副标</small></div>，div.text 会返回 "标题\n 副标"，中间的换行和空格保留原样，后续做 split() 或正则匹配极易出错。
真正该用的是 tag.get_text()，并带上清洗参数：
立即学习“前端免费学习笔记（深入）”；
-
strip=True：去掉首尾空白（包括 \n \t \r） -
separator=" "：把不同子标签之间的文本用单个空格连接，避免“标题副标”粘连 -
separator="\n"：适合保留段落结构，比如从<p>段一</p><p>段二</p>提纯文本时
更稳妥的做法是先判空再取值：elem = soup.select_one(".title"); text = elem.get_text(strip=True) if elem else ""，否则 None.get_text() 会抛 AttributeError。
大规模 HTML 文件批量处理要避开 lxml 的默认解析器陷阱
lxml 比 html.parser 快 3–5 倍，但它的默认解析器 lxml.etree.HTMLParser 对编码异常敏感。如果 HTML 文件里有未声明编码的中文内容（比如缺少 <meta charset="utf-8">），lxml 可能静默乱码，而 BeautifulSoup(html, "html.parser") 反而能自动探测。
正确做法是显式指定编码：
- 读文件时强制解码：
with open("page.html", "rb") as f: html_bytes = f.read(); soup = BeautifulSoup(html_bytes, "lxml", from_encoding="utf-8") - 或用
lxml.html.fromstring()时传入parser=lxml.html.HTMLParser(encoding="utf-8") - 若不确定源编码，先用
chardet.detect()探测，再喂给解析器
另外，lxml 不支持 select() 方法，得改用 xpath()，比如 doc.xpath('//div[@class="item"]//h2/text()') —— 这点在切换解析器时容易漏改，导致批量脚本中途报错。
n8n 或其他低代码平台中批量提取的关键是 CSS 选择器复用性
n8n 的 HTML 节点本质是封装了 cheerio（类似 jQuery 的服务端解析器），它不执行 JS，只处理静态 HTML 字符串。所以你复制浏览器里“检查元素 → 复制选择器”得到的 #app > div:nth-child(2) > ul > li:nth-child(3) 这种带序号的选择器，在批量场景下极不稳定——只要页面结构微调（比如广告位插入一个 div），整个提取就失效。
真正能批量跑通的选择器必须满足两个条件：
- 基于语义 class 或 id，比如
.product-card__title、[data-testid="price-value"] - 用后代而非子代选择器，
.list-container .item .name比.list-container > .item > .name更耐结构变化
如果目标网站没有稳定 class，宁可用正则兜底：re.findall(r'<h2>]*>(.*?)</h2>', html_str, re.DOTALL)，虽然不够优雅，但在爬取几十个同构页面时，比反复调试脆弱的 CSS 选择器更省时间。
批量提取最常被忽略的点是错误隔离——不要让一个坏 HTML 文件导致整个循环中断。无论用哪种引擎，都要在每轮迭代里加 try/except，记录失败文件路径和错误类型，而不是让脚本卡死在第 173 个文件上。
