python - 做爬虫的时候，怎么判断是否爬过呢

Question

以前没有做过爬虫，现在项目有个需求 就是要爬取指定论坛的某个板块的帖子 下面如果出现 “机械XXX” 等关键字就要抓取通知管理员，

但是现在有个问题，怎么判断是否爬过呢， 目前这个爬虫第一版只爬帖子内容 不爬回复 ， 目前想到的思路是 定时爬前20页的id 然后去数据库里对比是否有id 如果不存在此id再继续爬，不知道这个思路怎么样

但是第二版的话就要爬回复内容了 这个应该怎么实现呢？ 各位大神有什么思路吗

Answer 1

每个html页面都是一棵dom树,你爬取的时候记录下每一个敏感词在节点中的位置,然后再数据库中对比,完活儿.

Answer 2

请使用布隆过滤器

Answer 3

记录下爬去过的id的思路很对呀，即使是回复内容，也可以这样子做，记录下回复的id、时间等标识性信息就可以了