NoClassDefFoundError: org/apache/spark/SparkConf 表明 Spark 核心类未加载，主因是 spark-core 依赖缺失或 Scala 版本不匹配；需引入 spark-core_2.12 或 spark-core_2.13，排除低版本 scala-library 冲突，并确保 SparkConf 在 SparkContext 创建前完成配置。
本地模式启动报 NoClassDefFoundError: org/apache/spark/SparkConf
说明 Spark 运行时根本没加载到核心类，不是配置问题，是依赖缺失或冲突。本地模式（local[*]）看似轻量，但 spark-core 仍是硬依赖，且必须与 Scala 版本严格匹配。
实操建议：
立即学习“Java免费学习笔记（深入）”；
- 确认 Maven 里引入的是
spark-core_2.12（对应 Scala 2.12）或spark-core_2.13（对应 Scala 2.13），不能只写spark-core—— 缺少后缀会导致拉取错误的 artifact - 排除掉传递依赖里的低版本
scala-library，尤其当项目本身用了 Scala 2.13，但某个 transitive dep 拉了 2.12 的scala-library，会直接破坏 Spark 类加载 - 本地调试时加 JVM 参数：
-Dspark.master=local[*] -Dspark.app.name=debug-local，避免代码里setMaster()被覆盖或遗漏
SparkConf.setMaster("local[2]") 中的数字到底设多少
这个数字不是 CPU 核心数，而是本地线程池中并发 task 的上限。设太大不会提升性能，反而因线程切换和内存竞争拖慢速度；设太小则无法压满单机资源。
实操建议：
立即学习“Java免费学习笔记（深入）”；
- 开发/调试阶段用
local[1]或local[2]足够，能复现逻辑问题，又避免资源争抢干扰排查 - 如果任务含大量 I/O（如读本地文件、调外部 HTTP），可适当提高到
local[4]～local[6]，但别超过物理核数的 2 倍 - 绝对不要写
local[*]在 IDE 里跑复杂 job —— 它会把所有逻辑核都占满，导致你的电脑卡死、IDE 响应迟滞，甚至触发系统 OOM killer
为什么 SparkConf 必须在 SparkContext 创建前完成设置
因为 SparkContext 构造时会冻结 SparkConf 实例，后续对它的任何 set() 都无效。这不是 bug，是设计使然：运行时参数一旦确定就不能动态改，否则调度器、序列化器等组件状态会不一致。
实操建议：
立即学习“Java免费学习笔记（深入）”；
- 把
SparkConf初始化、setAppName()、setMaster()、关键set()（如spark.sql.adaptive.enabled）全部写在new SparkContext(conf)之前 - 避免在工具方法里“补”配置，比如
conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")写在SparkContext创建之后 —— 这行代码执行了，但完全不起作用 - 调试时可以在创建前打印
conf.toDebugString，确认关键项已生效，比靠猜可靠得多
本地模式下 spark.sql.warehouse.dir 不设会出什么问题
不设的话，默认指向 /tmp/spark-sql-warehouse，但这个路径在 macOS 和某些 Linux 发行版上可能被自动清理，或者权限受限，导致建库、建表时抛 java.io.IOException: Failed to create local dir。
实操建议：
立即学习“Java免费学习笔记（深入）”；
- 显式设置为项目内可写的路径，例如：
conf.set("spark.sql.warehouse.dir", "file:///path/to/your/project/spark-warehouse") - 路径前缀必须是
file://，不能省略 —— 缺少协议会被当成 HDFS 路径，然后连 localhost:8020 都连不上 - Windows 下注意斜杠方向，用正斜杠或双反斜杠：
file:///C:/dev/myproject/spark-warehouse，单反斜杠会解析失败
本地模式看着简单，但 SparkConf 的每个 set() 都有隐含约束：顺序、时机、协议、路径权限、Scala 版本绑定。漏掉一个，就可能卡在「明明没报错，但 SQL 就是跑不起来」这种状态里。
