直接用//div[@class="item"]会漏二级目录数据，因XPath的//是全局搜索且无法处理JS渲染、动态加载或深层嵌套内容；需先定位一级节点，再对其调用.xpath()进行相对路径查询，并配合判空、等待和接口直取等手段。
为什么直接用 //div[@class="item"] 会漏掉二级目录里的数据？
因为 XPath 的 // 是全局搜索，它不关心层级关系，只要匹配就抓——但二级目录（比如点击展开的折叠面板、AJAX 加载的子列表、iframe 里的内容）往往不在初始 HTML 中，或者 DOM 结构嵌套更深、有独立容器。这时候光靠一层 // 就会跳过那些被包裹在 div[@class="sub-section"] 或 section[@data-level="2"] 里的节点。
真正要遍历二级目录，得先定位「一级入口」，再对每个入口做独立 XPath 查询，模拟“进入→查找→提取”的路径逻辑。
- 一级结构通常是列表项
li、卡片div[@class="card"]或链接a[@class="parent-link"] - 每个一级节点内部可能有
div[@class="children"]、ul[@class="submenu"]或section[contains(@class, "level-2")]这类二级容器 - 必须用相对 XPath（以
.开头），否则会退回到整个文档根节点，失去上下文
怎么写能保证二级目录不被跳过？用 .xpath() 而不是 tree.xpath()
关键在调用对象：对每个一级节点元素（Element 对象）调用 .xpath() 方法，而不是反复用全局 tree.xpath()。前者是相对路径查询，后者永远从根开始，容易跨级混搭、重复或遗漏。
示例场景：某商品页中，每个 div[@class="category"] 下有若干 div[@class="product"]，而部分 product 又带 div[@class="variant"]（即二级变体）：
立即学习“Python免费学习笔记（深入）”；
# 正确：逐层锚定
for cat in tree.xpath('//div[@class="category"]'):
cat_name = cat.xpath('./h2/text()')[0].strip()
for prod in cat.xpath('.//div[@class="product"]'): # .// 表示从 cat 元素向下任意深度找
title = prod.xpath('./h3/text()')[0].strip()
# 抓二级变体：只在当前 prod 内部找
variants = prod.xpath('.//div[@class="variant"]/span[@class="sku"]/text()')
print(f"{cat_name} > {title}: {variants}")
- 用
./表示“当前节点直系子元素”，.//表示“当前节点后代任意深度” - 避免写
tree.xpath('//div[@class="variant"]')—— 它会把所有 variant 拉平，丢失归属关系 - 如果二级内容是 JS 渲染的，
lxml解析不到，得换requests-html或selenium预执行
遇到 IndexError: list index out of range 怎么安全取值？
这是 XPath 提取最常踩的坑：假设节点一定存在，但二级目录里字段可能缺失（比如有的 product 没 variant，有的 title 标签是 h4 不是 h3）。硬索引 [0] 必炸。
- 用
extract_first(default="")（scrapy.Selector）或get(default="")（lxml4.8+）代替[0] - 或手动判空：
title = prod.xpath('./h3/text()').get() or prod.xpath('./h4/text()').get() or "" - 对二级列表，用
if variants:包裹处理逻辑，别默认非空
尤其注意文本节点常被空格/换行包围，加 .strip() 前先判是否为 None，否则 None.strip() 报错。
二级目录加载依赖点击或滚动？XPath 本身做不到，得配合行为模拟
XPath 是静态解析工具，它不执行 JS、不触发事件、不等待网络请求。如果二级内容由 onclick、IntersectionObserver 或滚动懒加载，那原始 HTML 里压根没有那些 div[@class="level-2"]。
- 先用浏览器开发者工具的 Network 面板看：二级数据是走 XHR 返回 JSON？还是插入新 HTML 片段？
- 如果是 JSON 接口，绕过 DOM，直接
requests.get(二级接口URL)解析响应体 - 如果是动态渲染，用
requests-html的.render()或selenium的driver.find_element().click()+WebDriverWait等待元素出现 - 千万别在没加载完时就跑
tree.xpath()，结果永远为空
层级遍历的本质是控制作用域，但前提是目标 DOM 已真实存在于内存中——这点容易被忽略，一卡就是半天。
