DeltaFetch 是一个第三方 Scrapy 中间件，它能在请求发出前检查该请求键（默认 URL 或自定义 meta["deltafetch_key"]）是否已存在数据库中，若存在且启用则直接丢弃请求，真正跳过 HTTP 抓取；它仅做请求级去重，不比对页面内容，依赖持久化存储（如 SQLite/Redis），需禁用 Scrapy 默认去重器以确保生效。
DeltaFetch 是什么，它真能跳过已爬页面吗？
DeltaFetch 不是 Scrapy 内置功能，而是一个第三方中间件插件，它的核心作用是在请求发出前检查该 request.url（或你指定的去重键）是否已在数据库中标记为“已处理”。如果已存在且 deltafetch_enabled=True，则直接丢弃该请求，不发 HTTP 请求——这才是真正意义上的“跳过”。它不解析响应内容，也不比对页面正文变化，只依赖你提供的唯一键和存储后端。
常见误用是以为它能自动检测网页内容更新，其实不能；它只做请求级去重，和 Scrapy 自带的 DUPEFILTER_CLASS 类似，但支持持久化（比如存到 SQLite 或 Redis），重启后依然有效。
如何安装并启用 DeltaFetch 中间件
先用 pip 安装：
pip install scrapy-deltafetch然后在
settings.py 中配置：
- 启用中间件：
DELTAFETCH_ENABLED = True - 指定存储后端（推荐 SQLite）：
DELTAFETCH_STORAGE = "scrapy_deltafetch.storage.SqliteStorage" - 设置数据库路径（默认在项目根目录生成）：
DELTAFETCH_SQLITE_DB = "deltafetch.db" - 必须关闭 Scrapy 默认去重（否则可能冲突）：
DUPEFILTER_CLASS = "scrapy.dupefilters.BaseDupeFilter"
注意：如果你用的是 Scrapy 2.0+，BaseDupeFilter 不再自动去重，所以这步更关键；漏掉会导致 DeltaFetch 完全不生效。
立即学习“Python免费学习笔记（深入）”；
如何控制哪些请求参与增量判断
DeltaFetch 默认只对 callback 不为 None 的请求生效，并且只用 request.url 做键。但多数场景你需要更精确控制，比如按文章 ID 去重，而非 URL（URL 可能带时间戳参数）。
做法是在构造请求时显式传入 meta 键：
yield scrapy.Request(url, callback=self.parse_item, meta={"deltafetch_key": item_id})这样 DeltaFetch 就会用 item_id 而非完整 URL 作为去重依据。务必确保 item_id 全局唯一且稳定——用动态时间戳、随机数或未清洗的 HTML ID 都会导致重复抓取。
另外，如果你希望某类请求（如分页列表页）不参与去重，加 meta={"deltafetch_enabled": False} 即可绕过。
SQLite 存储的坑与并发注意事项
默认 SQLite 后端在多进程（scrapy crawl -s JOBDIR=xxx）或分布式环境下不安全，会出现锁等待甚至数据错乱。单机单 spider 场景没问题，但一旦启用了 CONCURRENT_REQUESTS > 1，就可能遇到 sqlite3.OperationalError: database is locked。
解决方式有两个：
- 降级并发数：
CONCURRENT_REQUESTS = 1（最简单，适合中小规模任务） - 换 Redis 后端：
DELTAFETCH_STORAGE = "scrapy_deltafetch.storage.RedisStorage"，并配好REDIS_URL；Redis 天然支持并发读写，但需自行维护 Redis 实例
还有一个容易被忽略的点：DeltaFetch 不会自动清理旧记录。长期运行后 deltafetch.db 会越来越大，而插件本身不提供 TTL 或过期机制——得你定期手动删表或加脚本归档。
