随笔分类 -  hadoop

1 2 下一页
mount failed: mount failed: exit status 1
摘要：k8s pod挂载pvc，pvc通过pv连接了glusterfs。 pod一直处于creating状态，kubectl descibe pod 显示如下错误： 注：pod在机器node-2（172.16.1.2）上。 describe pod看不到有用的错误信息， 手动执行 报错： 检查命令中用到的 阅读全文
posted @ 2018-05-30 17:53 Entropy_lxl 阅读(508) 评论(0) 推荐(0) 编辑
YARN的AsyncDispatcher学习
摘要：YARN采用了基于事件驱动的并发模型,该模型能极大的提高应用程序并发性,在RM中,几乎所有的事件都通过AsyncDispatcher进行事件的派发. YARN中AsyncDispatcher的基本架构图如下: 从架构图可以看出，AsyncDispatcher负责event的接受并存在队列中，还可以根 阅读全文
posted @ 2018-05-25 19:31 Entropy_lxl 阅读(52) 评论(0) 推荐(0) 编辑
NameNode的ZKFC机制
摘要：转自： http://hackershell.cn/?p=821 NameNode的HA可以个人认为简单分为共享editLog机制和ZKFC对NameNode状态的控制 在此之前，我先提几个问题： 一般导致NameNode切换的原因 ZKFC的作用是什么？如何判断一个NN是否健康 NameNode 阅读全文
posted @ 2017-05-24 10:36 Entropy_lxl 阅读(6888) 评论(0) 推荐(2) 编辑
format ZKFC失败
摘要：at org.apache.hadoop.ha.ActiveStandbyElector$WatcherWithClientRef.waitForZKConnectionEvent(ActiveStandbyElector.java:1051) at org.apache.hadoop.ha.Act 阅读全文
posted @ 2017-04-27 20:02 Entropy_lxl 阅读(658) 评论(0) 推荐(0) 编辑
cannot register datanode 0.0.0.0:1002,because current license expired time is
摘要：ntp时间不一致 阅读全文
posted @ 2017-03-21 17:30 Entropy_lxl 阅读(239) 评论(0) 推荐(0) 编辑
You have version null and I want version 8
摘要：删除hdfs上的/hbasehadoop fs -rm -r /hbase删除zookeeper上的/hbasezookeeper-client -server 192.168.1.2:2181 rmr /hbase 阅读全文
posted @ 2017-03-17 12:04 Entropy_lxl 阅读(361) 评论(0) 推荐(0) 编辑
File /hbase could only be replicated to 0 nodes instead of minReplication (=1). There are 30 datanode(s) running and no node(s) are excluded in this operation.
摘要：原因： hdfs-site.xml中的配置为： dfs.datanode.du.reserved值太大了，预留近400G。 设小一点就可以了10737418240，例如10G。 阅读全文
posted @ 2017-03-03 12:20 Entropy_lxl 阅读(657) 评论(0) 推荐(0) 编辑
Invalid volume failure config value: 1
摘要：原因： hdfs-site.xml中的配置为： dfs.datanode.data.dir只配了一个目录，并且dfs.datanode.failed.volumes.tolerated设置成了1。 只有一个目录，还允许一个目录不可用！ 解决办法： dfs.datanode.failed.volume 阅读全文
posted @ 2017-03-03 11:53 Entropy_lxl 阅读(552) 评论(0) 推荐(0) 编辑
Hbase master启动报错：Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster Caused by: java.net.UnknownHostException:
摘要：Hbase master启动报错： 报错原因是hbase找不到hdfs的nameservice。 解决方法，在hbase的启动CLASSPATH中加入hdfs的配置文件的路径，core-site.xml和hdfs-site.xml。 如果是在docker中启动，还需要将hdfs的配置文件的路径挂载出 阅读全文
posted @ 2017-03-02 11:36 Entropy_lxl 阅读(6892) 评论(1) 推荐(0) 编辑
IPC's epoch 6 is less than the last promised epoch 7
摘要：一、错误起因 Active NameNode日志出现异常IPC‘s epoch [X] is less than the last promised epoch [X+1]，出现短期的双Active 我配置的ha自动切换，但是发现STandByNameNode是active，我强制手动切换了三次，S 阅读全文
posted @ 2017-03-01 17:40 Entropy_lxl 阅读(2597) 评论(0) 推荐(0) 编辑
Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to IP1:8020 Invalid volume failure config value: 1
摘要：2017-02-27 16:19:44,739 ERROR datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to IP1:8020 Inv 阅读全文
posted @ 2017-02-27 16:36 Entropy_lxl 阅读(3842) 评论(0) 推荐(0) 编辑
Failed deleting my ephemeral node
摘要：2017-01-05 11:07:39,490 WARN zookeeper.RecoverableZooKeeper: Node /hyperbase1/rs/tw-node1217,60020,1483585655650 already deleted, retry=false2017-01-0 阅读全文
posted @ 2017-01-06 15:53 Entropy_lxl 阅读(1465) 评论(0) 推荐(0) 编辑
keytab生成不了
摘要：vim /var/kerberos/krb5kdc/kadm5.acl 将*e改成* /etc/init.d/kadmin restart 重启kadmin 阅读全文
posted @ 2016-12-21 17:43 Entropy_lxl 阅读(891) 评论(0) 推荐(0) 编辑
Exit code from container executor initialization is : 24 ExitCodeException exitCode=24: Configuration file ../etc/hadoop/container-executor.cfg not found.
摘要：/etc/hadoop/conf的软链接（/etc/hdfs/conf）不正确，应该是/etc/yarn/conf 阅读全文
posted @ 2016-12-19 14:51 Entropy_lxl 阅读(886) 评论(0) 推荐(0) 编辑
Connection broken for id 62, my id = 70, error =
摘要：启动费zokeeper失败，报错如下：Connection broken for id 62, my id = 70, error = 原因是因为zoo.cfg中server.id不正确。 server.1=node11:2888:3888server.62==node12:2888:3888ser 阅读全文
posted @ 2016-12-16 18:15 Entropy_lxl 阅读(2404) 评论(0) 推荐(0) 编辑
File system needs to be upgraded. You have version null and I want version 7
摘要：安装hbase时候报错： File system needs to be upgraded. You have version null and I want version 7 注： 我安装的hbase依赖于hdfs， hdfs是有nameservice的。 解决方法： 1. 首先查看hbase的 阅读全文
posted @ 2016-12-16 17:54 Entropy_lxl 阅读(300) 评论(0) 推荐(0) 编辑
fsimage 和 edits log
摘要：standby NN每隔一段时间(由参数dfs.ha.tail-edits.period决定,默认是60s)去检查Journal node上新的Edits log文件。 standby NN每隔一段时间(由参数dfs.namenode.checkpoint.check.period决定,默认是60s 阅读全文
posted @ 2016-08-17 11:48 Entropy_lxl 阅读(536) 评论(0) 推荐(0) 编辑
Server asks us to fall back to SIMPLE auth, but this client is configured to only allow secure connections.
摘要：我是在flume向hdfs 写(sink)数据时遇到的这个错误. Server (是指hdfs) asks us to fall back to SIMPLE auth, but this client (是指flume) is configured to only allow secure (是指 阅读全文
posted @ 2016-08-11 10:41 Entropy_lxl 阅读(4812) 评论(0) 推荐(0) 编辑
flume Permission denied: user=flume, access=WRITE, inode
摘要：My flume app is attempting to write to HDFS on a path thats not been created/granted for it. The path is /tmp, create it manually and grant flume writ 阅读全文
posted @ 2016-08-10 10:40 Entropy_lxl 阅读(909) 评论(0) 推荐(0) 编辑
FATAL ha.BootstrapStandby: Unable to fetch namespace information from active NN at ***
摘要：This problem (Unable to fetch namespace information from active NN) occurs, because the active namenode is not running. 阅读全文
posted @ 2016-06-17 14:27 Entropy_lxl 阅读(3127) 评论(0) 推荐(0) 编辑

1 2 下一页
点击右上角即可分享
微信分享提示