摘要: 问题背景 春节假期间,接连收到监控程序发出的数据异常问题,赶忙连接上跳板机检查各服务间的状态,发现Datanode在第二台、第三台从节点都掉线了,通过查看Datanode和Namenode运行日志,发现了问题所在,记录下这次惊心的处理过程,供参考。 问题描述 Namonode主节点运行时报出内存溢出 阅读全文
posted @ 2019-03-12 15:33 ELBOR&LIU 阅读(1723) 评论(0) 推荐(0) 编辑
摘要: 问题描述:Cannot obtain block length for LocatedBlock故障分析和解决 解决方案:使用 hdfs debug recoverLease -path 阅读全文
posted @ 2019-01-29 11:24 ELBOR&LIU 阅读(487) 评论(0) 推荐(0) 编辑
摘要: 执行hadoop任务遇到的问题: Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hive/warehouse/rec_new2.db/user_session/.hive-stagi 阅读全文
posted @ 2017-12-15 15:05 ELBOR&LIU 阅读(1261) 评论(0) 推荐(0) 编辑
摘要: hadoop1.x和hadoop2.x的区别: Hadoop1.x版本: 内核主要由Hdfs和Mapreduce两个系统组成,其中Mapreduce是一个离线分布式计算框架,由一个JobTracker和多个TaskTracker组成。 JobTracker的主要作用:JobTracker是框架的中心 阅读全文
posted @ 2017-08-29 09:42 ELBOR&LIU 阅读(7893) 评论(0) 推荐(0) 编辑
摘要: Hbase概述 · Hbase是构建在hdfs上的分布式列式存储系统 · Hbase内部管理的文件全部存储在HDFS上面, · Hbase是基于google bigtable 模型开发的,典型的noSql-KeyValue数据库; · Hbase是hadoop生态系统中的重要一员,主要用于海量结构化 阅读全文
posted @ 2017-08-28 09:53 ELBOR&LIU 阅读(381) 评论(0) 推荐(0) 编辑