判断数据是否已抓取的核心是比对新记录与数据库已有记录，最稳方式是用内容指纹（如sha256）生成唯一哈希并建立索引，配合INSERT IGNORE或NOT EXISTS批量去重，辅以Redis缓存加速短期增量判断。
怎么判断一条数据是不是已经抓过
核心是比对「新抓到的记录」和「数据库里已有的记录」，不能只看标题或链接是否重复——有些网站会改写标题、加参数、换域名，但内容实质一样。最稳的方式是用内容指纹：hashlib.md5(content.encode()).hexdigest() 或更抗碰撞的 hashlib.sha256()。如果连正文都拿不到（比如只有列表页），至少用带清洗的 URL：去掉 utm_*、sessionid、时间戳等动态参数，再 urllib.parse.urlparse() 标准化。
MySQL 里怎么高效查重
别在 Python 里循环查每条数据，更别用 SELECT * 拉全表比对。建好索引是前提：ALTER TABLE articles ADD INDEX idx_content_hash (content_hash)，或者用 UNIQUE 约束强制去重。插入时直接用 INSERT IGNORE 或 ON DUPLICATE KEY UPDATE；如果要批量判断哪些该跳过，用 INSERT ... SELECT ... WHERE NOT EXISTS 或先用 SELECT content_hash FROM articles WHERE content_hash IN (%s, %s, ...) 查出已存在哈希，Python 侧集合差集过滤。
Redis 做临时去重缓存要注意什么
适合高频、短周期的增量判断，比如一天内爬同一类新闻，避免反复查库。但别把所有历史哈希都塞 Redis——内存爆炸，且没持久保障。建议：
- 用
SET存哈希值，TTL 设为 24–72 小时，配合定时任务清理 - 不要依赖 Redis 判断「永久去重」，它只是加速层，最终仍要落库校验
- 注意
redis-py的pipeline批量操作，避免单条sismember网络往返拖慢速度
SET 内存开销大，可考虑布隆过滤器（pybloom_live），但得接受极小误判率。
增量抓取失败后如何续跑不丢数据
别靠「最后更新时间」字段硬切片——很多网站时间不准、乱序发布。稳妥做法是记录断点：
- 每次成功入库一批，就更新一个状态表里的
last_crawled_id或last_url_hash - 起始时先查这个值，用
WHERE id > ?或WHERE url_hash > ?拉下一页 - 如果用分页参数（如
page=100），必须把当前页码也落库，否则重试时可能跳页
TimeoutError、AttributeError）记日志，后续单独重试。立即学习“Python免费学习笔记（深入）”；
哈希冲突概率虽低，但一旦发生，会导致真正的新内容被当成重复丢弃；线上环境务必用 sha256，别图快选 md5。还有，数据库唯一索引字段长度别设太短——VARCHAR(32) 装不下 sha256，得 VARCHAR(64)。
