基于docker-compose的spark多worker测试环境搭建

使用 https://github.com/bitnami/bitnami-docker-spark

$ git clone https://github.com/bitnami/bitnami-docker-spark
$ cd bitnami-docker-spark
$ docker-compose up --scale spark-worker=3 # 3个woker

但是我在挂载好python代码路径然后执行的时候，出现了错误

ModuleNotFoundError: No module named 'py4j'

经查阅，需要设置PYTHONPATH环境变量的值, 在 docker-compose.yml 的 environment 下设置

- PYTHONPATH=/opt/bitnami/spark/python:/opt/bitnami/spark/python/lib/py4j-0.10.9.3-src.zip

即可

posted @ 2022-02-25 19:25  elimsc  阅读(136)  评论(0)  编辑  收藏  举报