Spark踩坑日常

  1. Spark连接到HDFS报错：ConnectException:Call From to master:8020
    • 原因：Hadoop的master端口设置为9000，core-site.xml：

      而Spark访问的默认端口为8020，端口不一致导致

    • 解决方案：
      • 修改core-site.xml
      • 修改hdfs访问端口
  2. 若使用spark-submit去提交作业，若配置的core数量或者Memory没有节点能满足，则会导致作业卡在Driver下，无worker可用
  3. 提交作业报错：java.nio.file.NoSuchFileException: /mnt/hgfs/ShareWithUbuntu/gapsBatch.jar
    • 解决方法：在cluster模式下，jar包需要放到集群可以访问的目录，如果是放在本地，需要在每个节点上都放置一份
  4. 通过Spark-submit提交Spark任务，报WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    • 解决方法：在环境变量增加export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:$LD_LIBRARY_PATH
posted @ 2019-07-25 11:19  奔跑的汉尼拔  阅读(412)  评论(0)  编辑  收藏  举报