python - scrapy 如何高效的避免采集到重复数据?

Question

目前有一只爬虫,爬取的文章数量不是很大,但是以后会慢慢累加上去.
不过现在要做的一个是,在爬取的时候,需要先判断这个url有没有存在数据库,如果存在就不插入了.

我目前想到的思路是,每次采集的时候,都做一下判断: ( 查询一下就数据库 )
但是这样感觉很低效.而且如果数据库里面有上百万的数据,每次都做一次判断那岂不是很慢!!?

有高效的方式吗?

Answer 1

1. scrapy对request的URL去重

yield scrapy.Request(url, self.parse, dont_filter=False)

注意这个参数：dont_filter=False

2. Jobs: 暂停，恢复爬虫

启用一个爬虫的持久化，运行以下命令:

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

然后，你就能在任何时候安全地停止爬虫(按Ctrl-C或者发送一个信号)。
恢复这个爬虫也是同样的命令:

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

这样爬虫断掉后，再启动会接着上次的 url 跑。

详细请看 https://www.howtoing.com/scra...

如果命令行里不想看到那么多输出的话，可以加个 -L WARNING 参数
运行爬虫如：

scrapy crawl spider1 -L WARNING

不打印Debug信息，可以清楚得看到运行过程。