随笔分类 - spark
摘要:问题 执行 spark-submit --master local模式时产生warn并达重试数限制失败,导致spark local不能启动: ... WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port
阅读全文
摘要:1、安装python、spark、java 环境版本: debian7 python3.6 java1.8 spark-2.4.0-bin-hadoop2.6 如果有网络可尝试用apt-get与pip下载安装,离线环境可下载使用安装包 可以指定安装pyspark版本 pip3.6 install p
阅读全文