PySpark 中自定义 Log4j Logger（如 LogManager.getLogger("Example Processor")）无法输出 INFO 级别日志，根本原因在于 Spark 默认根日志器（root logger）级别为 WARN，会屏蔽子 Logger 的低级别日志——即使子 Logger 显式设为 INFO，也需确保根日志器级别不高于其子级。
pyspark 中自定义 log4j logger（如 `logmanager.getlogger("example processor")`）无法输出 info 级别日志，根本原因在于 spark 默认根日志器（root logger）级别为 warn，会屏蔽子 logger 的低级别日志——即使子 logger 显式设为 info，也需确保根日志器级别不高于其子级。
在 PySpark 中，通过 LogManager.getLogger("Example Processor") 创建的 Java Log4j Logger 属于 Log4j 层级体系，其实际生效的日志级别不仅取决于自身设置（如 setLevel(Level.INFO)），更受 Log4j 根日志器（root logger）的级别约束。这是 Log4j 的核心继承机制：子 Logger 不会输出低于根 Logger 级别的日志。
观察您提供的日志输出：
Setting default log level to "WARN". ... 23/02/09 17:22:44 WARN Example Processor: Warn Message! 23/02/09 17:22:44 ERROR Example Processor: Error Message! 23/02/09 17:22:44 FATAL Example Processor: Fatal Message!
该提示 "Setting default log level to 'WARN'" 即明确指向 Spark 启动时自动调用的 sc.setLogLevel("WARN")（或等效的 Log4j 根配置）。此时，尽管 self.log.setLevel(Level.INFO) 成功设置了子 Logger 级别，但根日志器仍拦截所有 INFO 及更低级别（DEBUG, TRACE）日志，导致 info() 调用静默失效。
✅ 正确解决方案是 同步调整根日志器级别，推荐两种方式：
方式一：通过 SparkContext 设置全局日志级别（推荐）
from pyspark.sql import SparkSession
self.spark = SparkSession.builder \
.master("local[1]") \
.appName("DemoProcessor") \
.getOrCreate()
# ✅ 关键：提升 SparkContext 级别（影响 Log4j 根 Logger）
self.spark.sparkContext.setLogLevel("INFO") # 或 "DEBUG" 以启用全部
# 获取并配置自定义 Logger
log4jLogger = self.spark.sparkContext._jvm.org.apache.log4j
self.log = log4jLogger.LogManager.getLogger("Example Processor")
self.log.setLevel(log4jLogger.Level.INFO)
# 现在所有级别均能正常输出
self.log.info("Info Message!") # ✅ 可见
self.log.warn("Warn Message!") # ✅ 可见
self.log.error("Error Message!") # ✅ 可见方式二：直接操作 Log4j 根 Logger（更底层，需谨慎）
root_logger = log4jLogger.LogManager.getRootLogger() root_logger.setLevel(log4jLogger.Level.INFO) # 显式设置根级别
⚠️ 重要注意事项：
- setLogLevel("INFO") 是 Spark 官方支持的接口，安全、可移植，且兼容 Spark 3.x+；而直接操作 LogManager.getRootLogger() 属于内部 API，未来版本可能变更。
- 避免在生产环境无差别启用 DEBUG：会产生海量日志，显著影响性能与磁盘 I/O。
- 若使用 spark-submit，也可通过 --conf "spark.log.level=INFO" 参数统一配置，无需修改代码。
- self.log.trace() 和 self.log.debug() 在 Level.INFO 下仍不会输出（因 INFO
? 总结：PySpark 日志是「双层过滤」机制——子 Logger 控制“允许发什么”，根 Logger 控制“允许收什么”。要让自定义 Logger 的 INFO 日志可见，必须确保根 Logger 级别 ≤ INFO。优先使用 sparkContext.setLogLevel() 统一管理，简洁可靠，符合最佳实践。
