随笔分类 - hadoop
摘要:星环TDH-search启动失败-master not discovered exception解决 报错问题: 经过排查发现是由于配置中node.master值全为false啦,修改为如下配置即可 重启search组件即可。 默认情况下,elasticsearch集群中每个节点都有成为主节点的资格
阅读全文
摘要:一、场景 当hdfs更换机器需要退役当前节点数据时候,通过查看namenode节点50070web服务 问题:发现正在迁移的节点数据blocks太大,一千多万个block,大约在5T左右,速度太慢了,基本上得跑3周,20天左右才能把数据迁移完 要注意在decommisstion in progres
阅读全文
摘要:星环catalog元数据管理系统,底层是在altas的基础上做了自己的开发,具有血缘关系、数据地图展示,搜索(做的不好)表等,可以给表加标签,还具有sql执行页面。总体来说这套工具想法挺好,但是产品用起来不是特别友好,搜索想全文查找不是特别好用,搜出来的字段无法连接到具体表上,只是展示。 搜索表或者
阅读全文