Scrapy本身不支持分布式，需结合Redis和scrapy-redis实现；Docker仅负责容器化部署，不能替代分布式逻辑。
Scrapy本身不支持分布式，别硬凑Docker当“集群”
Scrapy是单机爬虫框架，没有内置任务分发、状态同步或去重共享机制。直接用Docker跑多个Scrapy实例，不加协调层，只是并行跑一堆孤立爬虫，不是集群——重复抓、漏抓、IP被封概率反而更高。
真要实现云端抓取调度，得靠外部组件：常见组合是 Scrapy + Redis（任务队列+去重）+ scrapy-redis（扩展支持），再用Docker编排这些服务。Docker只负责容器化部署，不解决分布式逻辑。
- 别把
docker-compose.yml里多写几个scrapyservice 就当成集群——没共享dupefilter和scheduler，各爬各的 -
scrapy-redis必须替换默认的Scheduler和DupeFilter，否则所有去重和调度仍在本地内存 - Redis必须对外暴露端口且网络互通；Docker默认bridge网络下，Scrapy容器需用服务名（如
redis）访问，不能写localhost
scrapy-redis配置最容易漏掉的三处
即使装了 scrapy-redis，90% 的失败源于 settings.py 配置不完整。它不自动接管，必须显式声明。
- 启用
RedisScheduler：SCHEDULER = "scrapy_redis.scheduler.Scheduler"，缺这行，任务仍走本地内存队列 - 启用
RedisDupeFilter：DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"，否则start_urls去重和Request去重都无效 - 指定Redis连接：
REDIS_URL = "redis://redis:6379"（注意 host 是redis，不是localhost），且确保redis是docker-compose中定义的服务名
示例片段：
立即学习“Python免费学习笔记（深入）”；
Claw Code Suite (Python-Only Edition)
下载
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
# settings.py SCHEDULER = "scrapy_redis.scheduler.Scheduler" SCHEDULER_PERSIST = True # 重启后保留队列 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" REDIS_URL = "redis://redis:6379"
docker-compose.yml里Redis和Scrapy的网络与启动顺序
Docker容器启动有竞态：Scrapy容器常因Redis还没就绪就报 ConnectionRefusedError 直接退出。不能只靠 depends_on，它只控制启动顺序，不检测服务可用性。
-
depends_on必须配condition: service_healthy，但前提是Redis容器定义了healthcheck - 推荐在Scrapy镜像启动脚本里加简单等待逻辑，比如循环执行
redis-cli -h redis -p 6379 ping直到返回PONG - Redis服务暴露端口仅需内部通信时，
ports:可省略；若需本地调试，再映射如"6379:6379"
关键片段：
# docker-compose.yml
services:
redis:
image: redis:7-alpine
healthcheck:
test: ["CMD", "redis-cli", "ping"]
interval: 10s
timeout: 5s
retries: 5
scrapy-worker:
build: .
depends_on:
redis:
condition: service_healthy
部署后任务怎么投递？别再手动进容器跑 crawl
集群意义在于动态下发任务。本地 scrapy crawl 启动的是固定爬虫，无法实时加任务。正确做法是往Redis的 spider_name:start_urls list里推URL，或用 scrapy-redis 提供的 push_start_url 工具。
- 投递命令示例：
redis-cli lpush myspider:start_urls "https://example.com"（myspider是爬虫名） - 如果用
scrapy-redis的Spider模式（非CrawlSpider），需确保start_requests()被禁用，否则会先加载start_urls列表再读Redis - 多个Scrapy worker会争抢同一队列，自动负载均衡；但注意并发请求数（
CONCURRENT_REQUESTS）设太高易触发反爬，建议从1开始调
真正麻烦的从来不是容器打包，而是任务粒度设计、去重键策略、以及异常URL如何回填重试——这些都在代码里，不在Dockerfile里。
