synchronized不适合高可用爬虫URL去重，因其仅支持单JVM线程同步，无法跨进程/机器协调，且内存状态不持久、高并发下性能差；生产推荐Redis Set、布隆过滤器或数据库唯一索引等外置方案。
synchronized 本身不适合直接用于高可用爬虫的 URL 去重，它仅适用于单 JVM 进程内的线程同步，无法跨进程、跨机器协调。在分布式或高可用爬虫场景中（如多节点、重启恢复、断点续爬），单纯靠 synchronized 无法保证 URL 去重的正确性和持久性。
为什么 synchronized 不适合高可用去重
• 它只能锁住当前 JVM 中的对象或类，其他爬虫实例（哪怕在同一台机器的不同进程，或不同服务器）完全不受影响；
• 所有去重状态保存在内存中，服务重启后全部丢失；
• 高并发下锁竞争严重，吞吐量急剧下降，成为性能瓶颈；
• 无法支持布隆过滤器、TTL 过期、去重历史统计等实用功能。
实际生产中推荐的去重方案
• Redis + Set 或 HyperLogLog：利用 Redis 的原子性操作（如 SADD 返回值判断是否已存在）实现轻量、跨节点的去重；支持持久化、过期、横向扩展；
• Redis + 布隆过滤器（RedisBloom）：内存占用低、查询快，适合海量 URL 初筛，配合持久化存储做精确校验；
• 数据库唯一索引：如 MySQL 的 url 字段加 UNIQUE 约束，插入时捕获 DuplicateKeyException；适合需要强一致性且带元数据（如抓取时间、状态）的场景；
• 本地布隆过滤器 + 分布式最终一致存储：高频快速判重用本地 Bloom（如 java.util.BitSet 或 guava BloomFilter），再异步写入 Redis/DB，兼顾性能与可靠性。
Redis 缓存和数据结构管理技能。通过自然语言操作 Redis，支持 String、Hash、List、Set、ZSet、Stream 等数据结构操作。当用户提到 Redis、缓存、消息队列、会话存储时使用此技能。
如果坚持用 synchronized（仅限单机轻量脚本）
• 可封装一个线程安全的内存去重器：
✓ 使用 ConcurrentHashMap<string boolean></string> 存 URL，比 synchronized 方法更高效；
✓ 若必须用 synchronized，建议锁在细粒度对象上（如 private final Object lock = new Object();），而非整个方法或 this；
✓ 配合 LinkedHashSet 实现 LRU 缓存淘汰（需自行加锁维护）；
• 注意：这种做法不支持重启恢复，也不可水平扩展，仅适合调试、单次运行的小规模任务。
立即学习“Java免费学习笔记（深入）”；
高可用爬虫的去重核心是“状态外置 + 原子操作 + 持久保障”，不是靠 Java 内存锁。选型要根据数据规模、一致性要求、运维成本综合权衡。
