pyspark提交集群任务

1.打包python环境

建议使用conda

conda克隆环境

conda create -n prod_env --clone base

进入conda的miniconda3/envs

# 打包python环境

zip -r prod_env.zip  prod_env

　　

 

2.提交任务

sh脚本

 

export PYSPARK_DRIVER_PYTHON=xxxx/envs/prod_env/bin/python3
export PYSPARK_PYTHON=./ENV/prod_env/bin/python3
spark-submit \
--master yarn \
--deploy-mode client \
--archives prod_env.zip#ENV \  #这里是注释 会上传本地的prod_env.zip到hdfs上，作为缓存，运行时会解压到ENV目录，程序结束后自动删除; 如果python的库变动不大，可以提前做好zip包上传到hdfs上，然后指定hdfs:///your-path
--conf spark.driver.host=ip地址 \  # 此处是避免集群与client通信失败，默认绑定的是主机名
hello.py

　　

hello.py

from pyspark import SparkConf
from pyspark.sql import SparkSession

print("==========app start=========")
spark = SparkSession.builder.enableHiveSupport().getOrCreate()
df = spark.sql('show databases')
df.show()
print("==========app stop=========")
spark.stop()