Spark和Flink在Kubernetes上需严格区分部署范式：Spark支持Operator声明式（适用于生产运维）和spark-submit命令式（适合调试/CI）；Flink则依赖Session/Job/Application三种集群模式及flink run-cluster或SQL Gateway提交，二者配置与命令不可混用。
要在Kubernetes集群上实际运行Spark和Flink分布式计算作业，必须区分两种框架各自的部署范式与提交路径——Spark支持Operator声明式提交和原生spark-submit命令式提交，Flink则依赖Session/Job/Application三种集群模式及配套的flink run-cluster命令或Flink SQL Gateway接口，二者不可混用配置或命令参数。
用Spark Operator提交Spark作业
该方式适用于需要长期运维、多租户隔离、自动重试和弹性伸缩的生产环境。Operator通过CRD（CustomResourceDefinition）将Spark作业抽象为Kubernetes原生资源。
第一步：确认集群已安装ack-spark-operator或社区版spark-operator，并验证CRD存在：kubectl get crd sparkapplications.sparkoperator.k8s.io。若无返回，说明Operator未就绪，【后续所有sparkapplication资源创建将失败】。
第二步：准备ServiceAccount与RBAC权限。在default命名空间下创建serviceaccount.yaml：
apiVersion: v1
kind: ServiceAccount
metadata:
name: spark
namespace: default
第三步：应用RBAC策略，确保spark serviceaccount能创建Pod、Service、ConfigMap等资源。使用官方提供的rbac.yaml或按最小权限原则编写rolebinding。
第四步：编写sparkapplication.yaml，指定镜像、主类、JAR位置及executor规格：
apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
name: spark-pi
namespace: default
spec:
type: Scala
mode: cluster
image: "ghcr.io/apache/spark:v3.5.0"
mainClass: org.apache.spark.examples.SparkPi
mainApplicationFile: "local:///opt/spark/examples/jars/spark-examples_2.12-3.5.0.jar"
sparkVersion: "3.5.0"
restartPolicy:
type: Never
driver:
cores: 1
coreLimit: "1200m"
memory: "2g"
executor:
cores: 1
instances: 3
memory: "2g"
第五步：执行kubectl apply -f sparkapplication.yaml。Operator会立即创建driver pod，待其Running后自动拉起executor pods。作业日志可通过kubectl logs -f spark-pi-driver实时查看。
用原生spark-submit向K8s提交作业
适合调试、CI/CD流水线中一次性作业或已有本地开发流程的团队。无需Operator，但要求kubectl上下文已配置且driver能访问K8s API Server。
方法一：Driver运行在本地，Executor运行在K8s集群内
执行命令前，确保spark.kubernetes.driver.pod.name未被占用，否则提交失败；同时local:///path/to/jar中的JAR必须存在于本地文件系统，不能是http://或hdfs://路径。
./bin/spark-submit \
--master k8s://https://【your-k8s-apiserver-host】:6443 \
--deploy-mode client \
--name spark-wordcount \
--class org.apache.spark.examples.JavaWordCount \
--conf spark.executor.instances=2 \
--conf spark.kubernetes.container.image=apache/spark:v3.5.0 \
--conf spark.kubernetes.namespace=default \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
local:///opt/spark/examples/jars/spark-examples_2.12-3.5.0.jar \
hdfs://namenode:9000/input.txt
方法二：Driver也运行在K8s集群中（cluster模式）
此时JAR必须打包进容器镜像，或挂载到Pod中。使用--conf spark.kubernetes.file.upload.path=file:///tmp可临时上传JAR，但需确保/tmp在driver pod中可写且容量充足。
在K8s上启动Flink Session集群并提交作业
Session集群适合多作业共享资源、低延迟交互式开发场景。它由独立的JobManager Deployment、TaskManager Deployment和JobManager Service组成，长期运行。
第一步：准备flink-conf.yaml ConfigMap，重点设置jobmanager.rpc.address: flink-jobmanager和rest.port: 8081，这两项必须与后续Service和Deployment中暴露端口严格一致，否则flink client无法连接。
第二步：部署JobManager Deployment，镜像使用官方flink:1.18-java17，args中必须包含jobmanager启动参数，否则容器启动后立即退出。
第三步：部署TaskManager Deployment，副本数根据slot总数需求设定，每个pod默认1个slot，可通过taskmanager.numberOfTaskSlots调高，但需同步增加内存限制。
第四步：创建ClusterIP类型的Service，targetPort必须指向JobManager容器的8081端口，name字段设为flink-jobmanager，这是flink CLI默认查找的服务名。
第五步：在本地或Jump Pod中执行作业提交：./bin/flink run -m flink-jobmanager:8081 -c org.apache.flink.streaming.examples.wordcount.WordCount ./examples/streaming/WordCount.jar。注意-m参数值格式为service-name:port，不是URL。
用Flink Kubernetes Client直接提交Job Cluster
Job Cluster模式为单作业独占集群，适合SLA敏感、资源强隔离的生产任务。无需预启Session集群，提交即拉起专属JM+TM，作业结束自动销毁。
方法一：使用flink run-cluster命令启动Application Mode集群
此模式要求作业JAR已内置main方法并打包成fat jar，且Docker镜像中/opt/flink/usrlib/目录下存在该JAR。命令中-Dkubernetes.cluster.id=my-app是必需参数，值必须全局唯一，重复会导致新集群无法注册。
./bin/flink run-cluster \
-Dkubernetes.cluster.id=my-app-20260929 \
-Dkubernetes.namespace=default \
-Dkubernetes.rest-service.exposed.type=ClusterIP \
-Djobmanager.memory.process.size=2g \
-Dtaskmanager.memory.process.size=4g \
-Dparallelism.default=2 \
-Dstate.backend=rocksdb \
./examples/streaming/StatefulCounter.jar
方法二：通过Flink SQL Gateway提交SQL作业
先部署SQL Gateway服务（需额外YAML），再用curl或Flink SQL Client连接http://flink-sql-gateway:8083。注意Gateway不管理集群生命周期，需提前部署好Session集群或配置Gateway自动启动Job Cluster。
