当 Hive on Spark 在本地环境运行时，因 spark.submit.deployMode 配置为 cluster 导致无法连接 Spark 客户端，将该值改为 client 即可解决会话创建失败问题。
当 hive on spark 在本地环境运行时，因 `spark.submit.deploymode` 配置为 `cluster` 导致无法连接 spark 客户端，将该值改为 `client` 即可解决会话创建失败问题。
在 Hive 集成 Spark 作为执行引擎（即 Hive on Spark）的实践中，一个高频却易被忽略的配置错误，正是引发 Failed to create spark client 的核心原因——部署模式不匹配本地运行环境。
Hive 默认通过 hive-site.xml 中的 spark.submit.deployMode 属性决定 Spark 应用的提交方式：
-
cluster模式：Driver 进程由集群资源管理器（如 YARN、Kubernetes）启动，适用于生产级分布式部署； -
client模式：Driver 进程直接在客户端（即 HiveServer2 所在 JVM）中启动，适用于本地开发、单机测试及嵌入式集成场景。
而你在本机同时运行 Hive 和 Spark（Spark UI 显示在 localhost:4040），说明你处于典型的 单机/伪分布式开发环境。此时若 deployMode 仍设为 cluster，Hive 会尝试将 Spark Driver 提交到远程集群（实际并不存在），导致：
- Spark 子进程启动后无法回连 Hive 客户端；
- 出现
Child process exited before connecting back错误； - Netty 通信层抛出
Too large frame异常（本质是无效连接握手产生的协议解析失败）； - 最终触发
org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create spark client.
✅ 正确做法是显式配置为 client 模式：
<!-- $HIVE_HOME/conf/hive-site.xml -->
<property>
<name>spark.submit.deployMode</name>
<value>client</value>
<description>
Deploy mode for Spark applications launched by Hive.
Use 'client' for local development; 'cluster' only when running on YARN/K8s with proper resource manager.
</description>
</property>⚠️ 补充关键注意事项：
- 无需重启 Spark 服务：Hive on Spark 是按需启动 Spark Application，修改配置后只需重启 HiveServer2 或 Beeline 客户端即可生效；
-
版本兼容性无需过度担忧：虽然官方文档对 Hive/Spark 版本组合的表述存在滞后（如 Hive 2.3.x 标注适配 Spark 2.0，而 Spark 3.3.2 声明支持 Hive 2.3.9），但 Hive 2.3.9 + Spark 3.3.2 在
client模式下经实测完全可用——关键不在“绝对版本号”，而在运行时类路径一致性与配置合理性； -
其他推荐配套配置（可选增强稳定性）：
<property> <name>spark.master</name> <value>local[*]</value> </property> <property> <name>spark.executor.memory</name> <value>2g</value> </property> <property> <name>spark.serializer</name> <value>org.apache.spark.serializer.KryoSerializer</value> </property>
执行 SELECT COUNT(*) FROM table_name; 后若不再报 SparkTask 失败，且日志中出现类似 Starting SparkClientImpl with master local[*] 的提示，即表明 Spark Session 已成功创建并投入使用。
总结：Hive on Spark 的本地调试，首要原则是「让 Driver 落地于客户端」——spark.submit.deployMode=client 不仅是配置项，更是开发模式的语义声明。避开集群抽象层，直连本地 Spark 运行时，才是快速验证与迭代的正确起点。
