Spark 总结2

网页访问时候 没有打开  

注意防火墙! 

 

 

 

启动park shell

bin下面的spark-shell   这样启动的是单机版的

可以看到没有接入集群中:

 

应该这么玩儿  用park协议  spark://192.168.94.132:7077     地址 协议

./spark-shell --mster  spark://192.168.94.132:7077

必须指定启动资源!!

如果启动spark shell时没有指定master地址,但是也可以正常启动spark shell和执行spark shell中的程序,其实是启动了spark的local模式,该模式仅在本机启动一个进程,没有与集群建立联系。总结的非常好!!!!!!

指定资源:

 

 

SparkContext (sc)

通向spark集群的一个入口   通过它来提交任务

 

posted @ 2017-09-15 22:10  toov5  阅读(140)  评论(0编辑  收藏  举报