1.python语言开发spark程序的步骤
主要是获取spark context对象,就isparkcontext对象作为执行环境入口
2.如何提交spark应用
将程序代码上传到服务器上通过spark客户端工具进行提交
注意:
1.在代码中不要设置master,如果设置一代码为准spark-submit工具的设置就无效了
2.提交程序到集群中的时候读取的文件一定是各个机器都能访问到的地址,比如hdfs
主要是获取spark context对象,就isparkcontext对象作为执行环境入口
2.如何提交spark应用
将程序代码上传到服务器上通过spark客户端工具进行提交
注意:
1.在代码中不要设置master,如果设置一代码为准spark-submit工具的设置就无效了
2.提交程序到集群中的时候读取的文件一定是各个机器都能访问到的地址,比如hdfs