LinkExtractor精准过滤多级目标链接需落实入口识别、路径约束与状态隔离：通过allow/deny正则排除干扰，allow_domains限定域名，restrict_xpaths锁定DOM区域，并禁用canonicalize以避免分页URL误合并。
多层级跳转的链接提取，本质是控制爬取边界而非无脑递归。关键在「入口识别 + 路径约束 + 状态隔离」三件事上做实，否则很容易陷入无限重定向、静态资源循环或跨站外链污染。
如何用 LinkExtractor 精准过滤多级目标链接
LinkExtractor 不是万能的“自动发现器”，它依赖你明确告诉它“哪些才算有效跳转”。常见误区是只设 allow，结果把分页参数、锚点、JS跳转伪链接全吸进来。
- 必须配合
deny排除干扰：比如deny=r'\?page=|\.pdf$|/admin/'，避免抓到分页冗余、附件或后台路径 -
allow_domains要写完整域名，不是子域名通配：写['example.com']比['.example.com']更安全，后者可能误匹配malicious-example.com - 启用
restrict_xpaths锁定 DOM 区域：例如只从//nav//a或//div[@class="category-tree"]//a提取，绕过广告位、页脚、相关推荐里的杂链 - 慎用
canonicalize=True：它会自动去重和标准化 URL，但对含 query 参数的分页页（如?id=123&tab=2）可能错误合并为同一链接
为什么不能直接用 urlparse.urljoin() 处理所有相对链接
相对路径转绝对路径看似简单，但真实页面里常混着三类陷阱：协议相对（//cdn.example.com/img.jpg）、根相对（/api/v1/data）、以及 JS 动态拼接的伪链接（href="javascript:void(0)" onclick="go('/detail/456')"）。
-
urlparse.urljoin(base_url, href)只处理前两类，对第三类完全无效——这类链接必须靠re.findall(r"go(['"]([^'"]+)['"])", html)单独提取 - 遇到
base标签时，urljoin会优先用它而非当前 URL 做 base，但很多网站的<base href="https://wrong-domain.com/">是错的或故意设偏的 - 中文路径需先
urllib.parse.quote(path, safe='/')，否则urljoin可能生成乱码 URL 导致 404
怎么防止多层爬取中链接重复和循环跳转
靠 set 存原始 URL 表面去重，实际失效率很高：参数顺序不同（?a=1&b=2 vs ?b=2&a=1）、大小写混合（/Page.html vs /page.html）、尾部斜杠（/blog vs /blog/）都会被当作新链接。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
立即学习“Python免费学习笔记（深入）”；
- 用
urllib.parse.urlparse()拆解后标准化：统一小写 scheme/host，排序并剔除空 query 参数，忽略 fragment - 对 URL 做哈希时别用
hash(url)——Python 的 hash 在不同进程/重启后不一致；改用hashlib.sha256(url.encode()).hexdigest()[:16] - 记录跳转深度时，不要靠递归函数栈帧计数，而要在每个请求的 meta 中显式传
'depth': current_depth + 1，避免异步回调或重试导致深度错乱 - 检测循环跳转不能只看 URL 是否存在，要检查连续 3 次跳转是否构成环路（如 A→B→C→A），这需要维护最近访问的 URL 队列（长度设为 5 足够）
Scrapy 中 yield Request 时如何传递上下文信息
多级页面间常需透传父级字段（如分类名、ID、时间戳），但直接塞进 meta 容易被中间件覆盖或丢失，尤其在启用 REDIRECT_ENABLED=True 时重定向响应会清空部分 meta。
- 必须用
meta={'dont_merge_cookies': True}配合cookies参数显式传递，否则登录态可能中断 - 关键业务字段（如
category_id）建议同时存入cb_kwargs和meta：前者确保回调函数参数确定性，后者供中间件或日志使用 - 避免在
parse中多次yield Request(..., callback=self.parse_detail)而不设cb_kwargs，否则详情页无法知道它属于哪个一级分类 - 如果某层需动态构造请求头（如某 API 要求
X-Parent-ID），应在headers字典中直接注入，而不是靠中间件从meta读取——中间件执行顺序不可控
真正麻烦的从来不是写几行提取逻辑，而是当页面结构随时间微调、反爬策略升级、URL 规则悄悄变更时，那些没做标准化、没留 trace、没设 depth guard 的链接提取代码，会在某天凌晨三点开始疯狂重试 404 页面。
