3.pycharm spark配置

 

 
 
pycharm 内的环境变量配置
 
 
选择相应的spark程序文件的对应的配置信息
 
 
 
PYSPARK_PYTHON:python的安装路径
 
PYTHONPATH:spark安装路径下的python
 
 
提交pyspark应用程序
    在$SPARK_HOME/bin
 
将HDFS上的文件作为参数传入
 
 
posted @ 2019-06-10 09:46  夏天换上冬装  阅读(340)  评论(0)  编辑  收藏  举报