CrawlSpider的rules不生效,主因是LinkExtractor默认仅提取标准链接且过滤含参、JS渲染等URL;需手动测试提取效果、调整allow/deny正则、检查DEPTH_LIMIT和ROBOTSTXT_OBEY等限制。

为什么 CrawlSpider 的 rules 一直不生效?
绝大多数人卡在这一步:写了 rules 却没触发任何 follow 行为。根本原因是 CrawlSpider 不会自动解析响应体——它依赖你显式指定 LinkExtractor 去提取链接,而默认的 LinkExtractor() 只抓 <a href></a>,且默认忽略 nofollow、javascript:、带参数的 URL(如 ?page=2)等。
实操建议:
- 先用
scrapy shell "https://example.com"手动测试:from scrapy.linkextractors import LinkExtractor; le = LinkExtractor(); le.extract_links(response),确认是否真能提取到目标链接 - 如果页面用 JS 渲染或链接藏在
<script></script>或 JSON 中,CrawlSpider天然不适用,得退回到Spider+ 手动response.css()/response.xpath()提取 - 常见漏配:忘记加
allow_domains导致跨域被过滤;或deny正则写太宽(如deny=(r'/login',)却把/login-success也拦了)
如何让 CrawlSpider 爬完列表页再进详情页?
这是全站爬取的核心逻辑分层问题。CrawlSpider 的 rules 是顺序匹配的,靠 follow=True/False 控制是否继续爬取提取出的链接,靠 callback 指定该链接由哪个方法处理。
典型配置示例:
立即学习“Python免费学习笔记(深入)”;
将测试、lint、构建和文档流程编码为命名的Python会话,以便人类和代理每次运行相同的workflow。
rules = (
# 列表页:提取下一页 + 所有文章链接,但不解析内容
Rule(LinkExtractor(allow=r'/category/.+/\?page=\d+'), follow=True),
Rule(LinkExtractor(allow=r'/article/\d+\.html'), follow=False, callback='parse_item'),
<pre class="brush:php;toolbar:false;"># 首页入口(可选)
Rule(LinkExtractor(allow=r'^/$'), follow=True),)
关键点:
-
follow=True表示提取到的链接会再次交给CrawlSpider走一遍rules匹配(适合翻页、栏目导航) -
follow=False+callback='parse_item'表示该链接只调一次回调函数(适合详情页),此时你必须自己写parse_item(self, response)提取字段 - 规则顺序很重要:更具体的
allow正则要放在前面,否则可能被泛匹配规则提前 consume 掉
爬着爬着就停了?检查这三处硬限制
CrawlSpider 默认行为比想象中保守,几个内置限制常导致“爬了几页就静音”:
-
DEPTH_LIMIT:默认无限制,但如果你在settings.py里设了DEPTH_LIMIT = 2,那从 start_urls 开始算,列表页是 depth=1,详情页就是 depth=2,再深就不进了 -
ROBOTSTXT_OBEY = True(默认开启):如果目标站robots.txt把/article/段路径 disallow 了,Scrapy 会直接跳过,连 request 都不发——用scrapy fetch --headers https://example.com/robots.txt查一眼 - 去重机制:
RFPDupeFilter对 URL 做标准化后判重,比如https://a.com/p?id=1&utm_source=xxx和https://a.com/p?id=1可能被当成同一 URL。需要自定义去重逻辑时,得重写request_fingerprint
Rule 中的 LinkExtractor 参数怎么选才不丢链接?
丢链接不是代码写错了,而是 LinkExtractor 的默认参数太“洁癖”。比如它默认 deny_extensions 包含 .pdf、.zip,但你要爬的文档页 URL 恰好是 /manual.pdf,那就直接被筛掉了。
常用调整项:
- 强制提取所有
<a></a>:LinkExtractor(tags=('a', 'area'), attrs=('href',)) - 允许带查询参数的链接:
LinkExtractor(allow=r'/post/\d+', canonicalize=False)(canonicalize=True会删掉?后面部分) - 提取非
<a></a>中的链接(如<div data-url="...">):<code>LinkExtractor(tags=('div',), attrs=('data-url',)) - 忽略 robots.txt 限制(仅调试用):
LinkExtractor(..., deny_extensions=())
真正难的不是写对正则,而是先搞清目标站的 URL 规律——用浏览器开发者工具 Network 面板看真实请求,比死磕 LinkExtractor 参数高效得多。

















