批量爬取多层级目录网站需先分析URL规律与数据格式，再用BFS队列控制深度、去重和结构化存储，最后添加延迟、robots.txt校验等基础防护。
批量爬取多层级目录网站，核心在于识别目录规律、控制爬取深度、避免重复、结构化存储
一、先理清网站的层级逻辑
不是所有多级目录都靠“点击下一页”推进。常见结构有：
• 路径型：/category/parent/child/grandchild/
• 参数型：?level=1&id=123&subid=456
• 混合型：/api/v2/nodes/?parent_id=789&depth=2
用浏览器开发者工具（Network → XHR/Fetch）抓几个目录页，看请求 URL 和返回数据格式（HTML 还是 JSON），确认是否需要登录、是否有反爬 header（如 Referer、X-Requested-With）。
二、用队列 + 深度限制实现可控遍历
别用递归，容易栈溢出或失控。推荐 BFS 队列方式：
- 初始化队列：放入根目录 URL，标记 depth=0
- 循环取 URL：若 depth < 最大深度（如 3），解析页面，提取子目录链接，新链接 depth+1 后入队
- 用 set 或数据库记录已访问 URL（建议用 URL 的规范化哈希值，如 hashlib.sha256(url.encode()).hexdigest()），防止循环跳转
三、结构化提取关键字段并分层存档
每层目录通常对应一个业务维度（如“省份→城市→区县→街道”）。建议按层级建字典结构：
{
"level": 0,
"url": "https://example.com/provinces",
"name": "全国省份",
"children": [
{
"level": 1,
"url": "https://example.com/provinces/beijing",
"name": "北京市",
"children": [...]
}
]
}
保存时用 JSON Lines（.jsonl）格式，每行一条记录，便于后续用 Pandas 流式读取；也可导出为 SQLite，加索引加速按 level / parent_url 查询。
创建全面的交接文档，使新AI代理能够无缝继续工作，消除歧义。解决上下文耗尽问题。 时机：(1)用户请求保存交接，(2)上下文即将满，(3)主要任务完成，(4)会话结束，(5)恢复工作时。 关键词：保存状态、创建交接、上下文已满、暂停、从...恢复、加载交接、保存进度、会话转移、交接
立即学习“Python免费学习笔记（深入）”；
四、加基础防护，降低被封风险
不是为了绕过，而是尊重网站规则：
- 遵守 robots.txt（用 urllib.robotparser 检查）
- 设置合理 delay（如 random.uniform(1, 3) 秒），用 time.sleep() 控制节奏
- 复用 requests.Session()，自动管理 cookie 和连接池
- 对 403/429 响应主动暂停（如 sleep(60)），并记录失败 URL 备查
基本上就这些。不复杂但容易忽略的是：目录结构可能动态渲染（需 Playwright/Selenium）、部分子页无实际内容（需判断 body/text 长度或特定 class 是否存在）、中文 URL 要 urlquote 处理。理清目标站点的真实结构，比写多少代码都重要。
