01 2022 档案

每日学习
摘要：今天主要学了一下RDD的操作 阅读全文
posted @ 2022-01-05 20:06 睡觉不困 阅读(15) 评论(0) 推荐(0) 编辑
spark-shell报错java.lang.IllegalArgumentException: java.net.UnknownHostException: namenode
摘要：在使用spark on yarn启动spark-shell时，发现报错： 是说找不到主机名为namenode的主机，那么应该是配置文件出错了。 经过检查，发现是spark-defaults.conf文件配置错误，配置的时候直接将上面复制了下来，导致忘了修改为node1，所以配置时一定要细心 更改后完 阅读全文
posted @ 2022-01-04 23:24 睡觉不困 阅读(1549) 评论(0) 推荐(0) 编辑
Idea运行时Scala报错Exception in thread "main" java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
摘要：一.情况描述 使用idea +scala+spark，运行程序代码如下： package cn.idcast.hello import org.apache.spark.rdd.RDD import org.apache.spark import org.apache.spark.SparkConf 阅读全文
posted @ 2022-01-04 19:44 睡觉不困 阅读(1385) 评论(0) 推荐(0) 编辑
解决HDFS无法启动namenode，报错Premature EOF from inputStream；Failed to load FSImage file, see error(s) above for more info
摘要：一.情况描述 启动hadoop后发现无法打开hdfs web界面，50070打不开，于是jps发现少了一个namenode： 查看日志信息，发现如下报错： 2022-01-03 23:54:10,993 INFO org.apache.hadoop.hdfs.server.namenode.FSIm 阅读全文
posted @ 2022-01-04 00:55 睡觉不困 阅读(1547) 评论(0) 推荐(0) 编辑
IDEA安装配置Scala环境
摘要：这里有详细步骤： windows上 IntelliJ IDEA安装scala环境 详细 初学 阅读全文
posted @ 2022-01-03 17:55 睡觉不困 阅读(226) 评论(0) 推荐(0) 编辑
spark配置双master时一直处于standby的情况
摘要：一.情况描述 按照如下配置，使用zookeeper监听 SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:218 阅读全文
posted @ 2022-01-02 17:59 睡觉不困 阅读(1112) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示