Scrapy-Redis仅替换Scrapy的调度器和去重器为Redis实现，分布式依赖多个Scrapy实例共享同一Redis实例；需统一REDIS_URL、启用RFPDupeFilter和RedisScheduler、开启SCHEDULER_PERSIST，并手动推送起始URL至{spider_name}:start_urls队列。
Scrapy-Redis 本身不提供“分布式爬虫系统”的完整方案，它只负责把 Scrapy 的调度器（Scheduler）和去重指纹（DupeFilter）替换成基于 Redis 的实现。真正构成分布式，靠的是多个 Scrapy 实例共享同一个 Redis 实例——这点必须先明确，否则后续所有配置都会跑偏。
如何让多个 Scrapy 爬虫实例共用一个 Redis 队列
关键不是改爬虫逻辑，而是确保所有节点都指向同一套 Redis 连接参数，并启用 scrapy_redis.scheduler.Scheduler 和 scrapy_redis.dupefilter.RFPDupeFilter。
-
REDIS_URL必须统一，比如redis://192.168.1.100:6379/0，不能写成localhost或127.0.0.1（否则各节点连的是自己本地 Redis） - 所有节点的
settings.py中必须启用：DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" SCHEDULER = "scrapy_redis.scheduler.Scheduler" SCHEDULER_PERSIST = True
- 启动时不要用
scrapy crawl myspider直接跑，而要确保每个节点都从 Redis 中读取起始 URL：需先用lpush myspider:start_urls https://example.com（myspider是爬虫名）往 Redis 写入任务
为什么爬虫启动后没抓取任何页面？常见连接与权限问题
现象是日志里反复出现 ConnectionRefusedError 或卡在 Reading URLs from redis queue 不动，本质是 Scrapy-Redis 没连上 Redis，或连上了但读不到数据。
- 检查 Redis 是否开启远程访问：确认
redis.conf中bind不是仅限127.0.0.1，且protected-mode no（测试环境），生产环境应配密码 + 白名单 - 验证连接：在任一爬虫节点执行
redis-cli -h 192.168.1.100 -p 6379 ping，返回PONG才算通 - 确认 key 名匹配：Scrapy-Redis 默认读取的 key 是
{spider_name}:start_urls，如果手动 push 时漏了冒号或大小写错（如写成start_url），就会静默失败
如何避免不同爬虫实例重复抓取相同 URL
Scrapy-Redis 的去重依赖 RFPDupeFilter，但它只对 request_fingerprint 做 Redis Set 判重。默认行为下，带不同 query 参数或 headers 的请求会被视为不同请求，容易重复。
立即学习“Python免费学习笔记（深入）”；
- 确保
DUPEFILTER_CLASS正确设置为scrapy_redis.dupefilter.RFPDupeFilter，而不是保留 Scrapy 默认的内存版RFPDupeFilter - 如果业务上认为
https://a.com/?page=1和https://a.com/?page=2是同一类页面，需自定义request_fingerprint逻辑（重写dupefilter.py中的request_fingerprint函数），否则 Redis Set 里存的是完整 URL 的哈希 -
SCHEDULER_PERSIST = True必须开启，否则爬虫退出时会清空 Redis 中的去重集合和队列，下次启动就失去历史记录
真正难的不是配置几个参数，而是理解 Scrapy-Redis 只接管了“任务分发”和“URL 去重”这两环；DNS 解析、下载中间件、解析逻辑、数据存储，全得自己协调。尤其当多个节点写入同一 MySQL 或 MongoDB 时，主键冲突、重复入库、状态同步这些事，Scrapy-Redis 一句都不会管。
