随笔分类 -  Hadoop

Hive进行数据统计时报错：org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster
摘要：报错详情： 2020-04-09 22:56:58,827 ERROR [Listener at 0.0.0.0/45871] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster org.apache. 阅读全文
posted @ 2020-04-09 15:32 做个读书人 阅读(2526) 评论(1) 推荐(0) 编辑
Hive启动后show tables报错：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
摘要：错误详情： FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 错误原因：Hive的 阅读全文
posted @ 2020-04-07 22:12 做个读书人 阅读(813) 评论(0) 推荐(0) 编辑
Hive启动报错：java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument
摘要：报错详细： Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object; 阅读全文
posted @ 2020-04-04 15:26 做个读书人 阅读(15394) 评论(0) 推荐(0) 编辑
Hadoop搭建高可用的HA集群
摘要：一、工具准备 1、7台虚拟机（至少需要3台），本次搭建以7台为例，配好ip,关闭防火墙，修改主机名和IP的映射关系（/etc/hosts），关闭防火墙 2、安装JDK,配置环境变量 二、集群规划： 集群规划（7台）： 主机名 IP 安装的软件 运行的进程 hadoop01 192.168.*.121 阅读全文
posted @ 2020-04-02 23:34 做个读书人 阅读(330) 评论(0) 推荐(0) 编辑
MapReduce在集群执行任务时报错：Initialization of all the collectors failed. Error in last collector was:java.lang.ClassCastException
摘要：报错信息详细： Error: java.io.IOException: Initialization of all the collectors failed. Error in last collector was:java.lang.ClassCastException: class com.s 阅读全文
posted @ 2020-03-28 20:52 做个读书人 阅读(1784) 评论(0) 推荐(0) 编辑
Hadoop本地编写的jar包放到集群执行时报错处理
摘要：错误描述： 020-03-24 22:45:23,204 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exit code from container container_1585061045134 阅读全文
posted @ 2020-03-24 23:33 做个读书人 阅读(807) 评论(0) 推荐(0) 编辑
Windows测试Hadoop报错解决
摘要：错误1：HADOOP_HOME and hadoop.home.dir are unset 原因：没有在Windows配置环境变量 解决办法：配置环境变量：记得配置到bin目录 错误2：Could not locate Hadoop executable: D:\hadoop-3.2.1\bin\w 阅读全文
posted @ 2020-03-22 22:38 做个读书人 阅读(586) 评论(0) 推荐(0) 编辑
Hadoop 3.1.2报错：xception in thread "main" org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs"
摘要：报错内容如下： Exception in thread "main" org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs"at org.apache.hadoop.fs.FileSys 阅读全文
posted @ 2020-03-20 16:59 做个读书人 阅读(4229) 评论(1) 推荐(1) 编辑
Hadoop真分布式实现SSH免密登录
摘要：首先需要两台服务器(CentOS安装Linux见：https://www.cnblogs.com/syq816/p/12355115.html) 伪分布式的搭建见：https://www.cnblogs.com/syq816/p/12504812.html 安装好之后先测试两台服务器是否连通，使用p 阅读全文
posted @ 2020-03-16 22:36 做个读书人 阅读(216) 评论(0) 推荐(0) 编辑
Hadoop伪分布式集群实现SSH免密登录
摘要：在启动Hadoop时候报了这样一个错误： Starting namenodes on [hadoop] hadoop: （Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). 问题原因：在于没有设置SSH免密登录的问 阅读全文
posted @ 2020-03-16 16:39 做个读书人 阅读(578) 评论(0) 推荐(0) 编辑