本文介绍一种基于自定义 filter 的轻量级方案，通过哈希化日志内容并缓存历史记录，在标准 logging 模块中实现对非连续重复日志的智能抑制与汇总输出，无需侵入式修改库代码。
本文介绍一种基于自定义 filter 的轻量级方案，通过哈希化日志内容并缓存历史记录，在标准 logging 模块中实现对非连续重复日志的智能抑制与汇总输出，无需侵入式修改库代码。
在实际工程中，频繁调用第三方库函数（如循环中反复执行计算逻辑）常导致大量语义重复的日志刷屏——例如 "You want to square a number." 这类提示性日志，虽内容相同、时间戳不同、上下文无关，却持续占用日志空间，掩盖真正有价值的动态信息（如 Result: 4）。标准 logging.Filter 默认仅支持逐条过滤，而原生机制无法自动识别“非连续但语义重复”的日志。本文提供一个生产就绪、零依赖、可开关控制的解决方案。
✅ 核心思路：带摘要回写能力的去重过滤器
关键在于两点：
- 跨调用状态保持：使用 weakref.WeakKeyDictionary 或全局字典缓存每条唯一日志的首次出现时间与累计次数；
- 延迟摘要注入：当检测到重复时暂不丢弃，而是拦截并累积计数；在日志流结束或显式刷新时，主动向 logger 注入一条格式化的摘要行（如 -- "Squaring Number" repeated 4 times --）。
以下是一个完整、健壮、可直接集成的 SummarizingFilter 实现：
import logging
import threading
from collections import defaultdict
from typing import Dict, Tuple, Optional
class SummarizingFilter(logging.Filter):
_cache: Dict[str, Tuple[int, float]] = {} # msg_hash → (count, first_timestamp)
_lock = threading.Lock()
def __init__(self, target_logger_name: str = "", summary_level: int = logging.INFO):
super().__init__()
self.target_logger_name = target_logger_name
self.summary_level = summary_level
self._summary_records = []
def filter(self, record: logging.LogRecord) -> bool:
# 生成稳定哈希：组合 logger name + levelno + message（忽略动态变量如时间戳、行号）
key = f"{record.name}:{record.levelno}:{record.getMessage()}"
# 使用简单 hash 避免依赖 hashlib（轻量）
msg_hash = hash(key) & 0xffffffff
with self._lock:
if msg_hash in self._cache:
# 已存在：仅计数，不放行
count, first_ts = self._cache[msg_hash]
self._cache[msg_hash] = (count + 1, first_ts)
return False # 抑制原始日志
else:
# 首次出现：缓存并放行
import time
self._cache[msg_hash] = (0, time.time())
return True
def flush_summaries(self, logger: logging.Logger):
"""手动触发摘要日志输出（推荐在循环结束后调用）"""
with self._lock:
for msg_hash, (repeat_count, first_ts) in list(self._cache.items()):
if repeat_count == 0:
continue
# 构造摘要日志：复用原始 record 的关键元数据（name, level, module, lineno 等）
# 注意：此处需模拟一条新 LogRecord，确保 formatter 正确渲染
summary_msg = f'-- "{self._get_original_message(msg_hash)}" repeated {repeat_count} times --'
# 使用 logger.log() 而非 logger.info()，以保留 level 和 handler 分发逻辑
logger.log(self.summary_level, summary_msg)
# 清除已摘要项
del self._cache[msg_hash]
def _get_original_message(self, msg_hash: int) -> str:
# 实际部署中建议扩展为缓存原始 message 字符串（内存开销可控）
# 此处为简化演示，返回占位符；生产环境应同步存储 message 原文
return "<cached message>"✅ 快速集成示例（你的脚本中）
import logging
# 1. 配置基础日志（按需）
logging.basicConfig(
level=logging.INFO,
format='[%(asctime)s] %(levelname)s [%(name)s:%(lineno)d] %(message)s',
datefmt='%d/%b/%Y %H:%M:%S'
)
# 2. 获取目标库 logger（必须与库中 getLogger(__name__) 名称一致）
lib_logger = logging.getLogger("library.module_name") # 替换为真实模块名
# 3. 启用摘要过滤器
summarizer = SummarizingFilter(target_logger_name="library.module_name")
lib_logger.addFilter(summarizer)
# 4. 执行循环调用
for i in range(5):
MathOperations.square_number(i)
# 5. 刷新摘要（关键！必须显式调用）
summarizer.flush_summaries(lib_logger)
# 可选：禁用过滤器（后续日志恢复原状）
lib_logger.removeFilter(summarizer)⚠️ 注意事项与最佳实践
- 线程安全：SummarizingFilter 内部使用 threading.Lock，适用于多线程场景；若确定单线程，可移除锁提升性能。
- 内存管理：_cache 在 flush_summaries() 后清空，避免内存泄漏；如需长期运行（如服务进程），建议增加 TTL 或定期清理策略。
- 精度权衡：当前哈希基于 record.getMessage()，若日志含动态值（如 f"Result: {result}"），则天然不重复——这正是我们期望的行为。摘要仅作用于完全相同的静态消息，动态消息（如结果）始终保留，符合需求。
- 兼容性：完全基于标准 logging API，无需 monkey patch，不影响其他 logger 或 handler。
- 调试友好：可通过 logging.getLogger().setLevel(logging.DEBUG) 查看 filter 内部行为；摘要日志等级默认 INFO，可按需调整。
✅ 总结
该方案直击痛点：
? 不修改任何第三方代码，仅在调用方脚本中添加 5 行初始化 + 1 行刷新；
? 支持非连续重复检测（区别于 DuplicateFilter 等仅处理相邻重复的方案）；
? 摘要可读性强，保留原始日志格式与上下文；
? 开闭自由，通过 addFilter/removeFilter 动态启停，适配测试、调试、生产多阶段需求。
最终日志将清晰呈现：首条静态提示 + 汇总说明 + 所有唯一动态结果，兼顾可读性与信息完整性。
立即学习“Python免费学习笔记（深入）”；
