增量式爬取的核心判断逻辑在start_requests中过滤已爬URL或parse后校验item唯一性，关键依赖Redis等持久化存储实现跨进程、重启不丢失的去重，而非Scrapy默认内存去重。
增量式爬取的核心判断逻辑在哪？
Scrapy 本身不内置“增量爬取”功能，它只负责请求、解析、存储。真正的增量逻辑必须由你控制：每次启动时跳过已抓取过的 URL 或已存入数据库的记录。关键在于「去重依据」——通常用 URL 做唯一标识，但更稳妥的是用内容指纹（如 scrapy.utils.request.request_fingerprint()）或业务主键（如商品 ID、文章 ID）。
- 不要依赖
ROBOTSTXT_OBEY = True或默认去重中间件来实现增量，它们只防重复请求，不解决重启后重爬问题 - 如果目标网站分页无规律、URL 可变（如带时间戳参数），仅靠 URL 去重会失效，必须提取稳定 ID 并查库
- 数据库建议用带索引的字段（如
item_id或url_hash）做唯一约束，避免插入时才发现重复
如何在 start_requests 中过滤已爬 URL？
最直接的方式是在 start_requests() 里先查数据库/Redis，把已存在的 URL 排除掉。不要在 parse() 里做——那样请求已发出，浪费带宽和时间。
def start_requests(self):
# 假设用 SQLite 记录已爬 URL 的 SHA256 摘要
conn = sqlite3.connect('crawl_history.db')
cur = conn.cursor()
cur.execute("SELECT url_hash FROM crawled WHERE spider_name = ?", (self.name,))
seen_hashes = {row[0] for row in cur.fetchall()}
<pre class='brush:python;toolbar:false;'>for url in self.start_urls:
url_hash = hashlib.sha256(url.encode()).hexdigest()
if url_hash not in seen_hashes:
yield scrapy.Request(url, callback=self.parse)
conn.close()-
start_requests必须是生成器函数，不能 return 列表 - 若
start_urls量大（如 10 万+），别一次性全读进内存，改用游标分批 or 改用 Redis 的SISMEMBER做 O(1) 查询 - 不要用 Python 的
in直接查未索引的数据库表，慢到阻塞整个爬虫
怎么让 parse 阶段自动跳过已入库的 item？
在 parse() 解析出 item 后，别急着 yield item，先查库确认是否已存在。推荐用主键（如 article_id）而非全文比对：
Claw Code Suite (Python-Only Edition)
下载
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
def parse(self, response):
item = ArticleItem()
item['article_id'] = response.css('.post::attr(data-id)').get()
item['title'] = response.css('h1::text').get()
<pre class='brush:python;toolbar:false;'># 查 MySQL 是否已存在该 article_id
if self.is_item_exists(item['article_id']):
return # 跳过
yield item-
is_item_exists()应封装为带连接池的方法，避免每次新建 DB 连接 - 如果用 MongoDB，可配合
update_one(..., upsert=True)省掉显式查询，但要注意：upsert 不会触发 pipeline 的process_item，可能绕过去重逻辑 - 切勿在
pipelines.py里做存在性校验并raise DropItem—— 此时请求已完成，属于事后补救，资源已浪费
为什么用 Redis 做增量状态比文件或 SQLite 更可靠？
因为 Scrapy 分布式部署、多进程重启、断点续爬时，文件锁难处理，SQLite 不支持并发写；而 Redis 天然支持原子操作和持久化。
立即学习“Python免费学习笔记（深入）”；
- 把已爬 URL 的指纹存进 Redis 的 Set：
redis.sadd('spider:myblog:crawled', fingerprint) - 启动前用
redis.sismember('spider:myblog:crawled', fp)判断 - 设置过期时间（如
redis.expire(..., 30<em>24</em>3600)）避免无限膨胀，但注意：过期后会重复抓——得权衡“数据新鲜度”和“去重可靠性” - 不要用 Redis 的 String 存完整 URL，既占空间又无法去重；也不要用 List，
LREM删除慢且非原子
真正麻烦的不是代码怎么写，而是你得想清楚：哪些变化算“新内容”？URL 改了但正文没变，要不要重爬？发布时间更新了但正文一样，算不算增量？这些边界问题没法靠框架解决，得你定义清楚再落地。
