分布式爬虫通过将爬虫任务分配到多台机器上提升效率，缩短爬取时间。使用 scrapy-redis 实现分布式爬虫：安装 scrapy-redis，创建 Redis 数据库，修改项目设置（Redis 设置、调度器队列、调度器持久化、重复过滤器、Items 管道），搭建调度器和爬虫，启动调度器和爬虫。注意事项：确保 Redis 稳定运行，合理配置机器资源，监控爬虫状态，及时调整。

scrapy分布式爬虫教程

1. 什么是分布式爬虫？

分布式爬虫是一种将爬虫任务分配到多个机器上执行的爬虫技术。它通过并行处理提高爬虫效率，缩短爬取时间。

2. scrapy分布式爬虫的优势

• 提高爬虫效率
• 缩短爬取时间
• 处理海量数据
• 扩展性和可伸缩性

3. scrapy分布式爬虫的实现步骤

3.1 安装scrapy-redis

pip install scrapy-redis

3.2 创建Redis数据库

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

redis-server

3.3 修改scrapy项目设置

在scrapy项目的settings.py文件中进行以下修改：

# Redis数据库设置
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
# 调度器队列
SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
# 调度器持久化
SCHEDULER_PERSIST = True
# 调度器管道：提交给redis
DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
# Items管道：持久化到redis
ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 999
}

3.4 搭建调度器和爬虫

使用scrapy-redis提供的接口创建一个调度器和两个爬虫：

from scrapy_redis.spiders import RedisSpider

class MySpider1(RedisSpider):
    ...

class MySpider2(RedisSpider):
    ...

class Scheduler:
    def __init__(self, redis_host, redis_port):
        ...

3.5 启动调度器和爬虫

# 启动调度器
$ python scheduler.py localhost 6379
# 启动爬虫
$ scrapy crawl myspider1
$ scrapy crawl myspider2

4. 分布式爬虫的注意事项

• 确保Redis数据库稳定运行
• 根据爬虫任务量合理配置机器资源
• 监控爬虫运行状态，及时调整