java - 使用Spark-submit报错 ,如何解决?
怪我咯
怪我咯 2017-04-17 15:29:15
[Java讨论组]

自己练习的一个java的SparkPi程序,已经尝试过在本地(local)跑成功了。现在想在公司的集群中跑一下。

我所做的步骤如下,如有错误,请您们多多指出:

  1. Eclipse中的项目SparkPi,右键export成一个SparkPiTest.jar文件。

  2. 这个项目中用到一个spark-assembly-1.5.1-hadoop1.2.1.jar依赖。将 SparkPiTest.jar 和 spark-assembly-1.5.1-hadoop1.2.1.jar移到了 master中 /root/spark-1.5.1-bin-hadoop1-scala2.11/bin 路径下。(这一步我不太确定,只需要把整个项目拷贝到master中,还是还需要把项目中的依赖包spark-assembly-1.5.1-hadoop1.2.1.jar也移动进去?但是不论我怎么操作,报错一直没变)

3.最后一步我在putty中操作,这一步也不太确定,怕某一行写错了,但是不论怎么改,报错一直没变。
在bin路径下:

./spark-submit\

--class org.apache.spark.examples.JavaSparkPi\
--master spark://192.168.0.208:7077\
--jars spark-assembly-1.5.1-hadoop1.2.1.jar\
--executor-memory 20G\
--total-executor-cores 1\
/root/spark-1.5.1-bin-hadoop1-scala2.11/bin/SparkPiTest.jar\

然后报错:Error: Must specify a primary resource (JAR or Python or R file)
Run with --help for usage help or --verbose for debug output

我查了很多资料,通通没有解决。我不知道是配置原因,还是./spark-submit这个指令没有写对,总之一直没有头绪。求帮助!多谢大神指点!
更多0

怪我咯
怪我咯

走同样的路,发现不同的人生

全部回复(0)
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号