spark 编译遇到的错误及解决办法(四)

17/02/08 23:38:52 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

发现以上问题

首先应用submit代码如下

 ./spark-submit --master spark://master:7077 --class SparkPi /home/hadoop/Downloads/testproject.jar

根据问题提示，确认了集群中两个worker都是alive状态，猜想资源是否够？

所以在submit代码加入

./spark-submit --master spark://master:7077 --executor-memory 512m --class SparkPi /home/hadoop/Downloads/testproject.jar

问题解决！

问题二：之前发现sparkpi实例程序以submit形势传递到集群中运行，也返回结果，但是4040端口不能访问，且application的completed显示0

在排除网上的可能问题后，我发现是代码中的setMaster端口写错了或者是直接写成了local...