随笔分类 -  hadoop

摘要:星环TDH-search启动失败-master not discovered exception解决 报错问题: 经过排查发现是由于配置中node.master值全为false啦,修改为如下配置即可 重启search组件即可。 默认情况下,elasticsearch集群中每个节点都有成为主节点的资格 阅读全文
posted @ 2022-07-04 11:11 Tim&Blog 阅读(517) 评论(0) 推荐(0) 编辑
摘要:一、场景 当hdfs更换机器需要退役当前节点数据时候,通过查看namenode节点50070web服务 问题:发现正在迁移的节点数据blocks太大,一千多万个block,大约在5T左右,速度太慢了,基本上得跑3周,20天左右才能把数据迁移完 要注意在decommisstion in progres 阅读全文
posted @ 2022-06-01 08:46 Tim&Blog 阅读(485) 评论(0) 推荐(0) 编辑
摘要:星环catalog元数据管理系统,底层是在altas的基础上做了自己的开发,具有血缘关系、数据地图展示,搜索(做的不好)表等,可以给表加标签,还具有sql执行页面。总体来说这套工具想法挺好,但是产品用起来不是特别友好,搜索想全文查找不是特别好用,搜出来的字段无法连接到具体表上,只是展示。 搜索表或者 阅读全文
posted @ 2021-08-30 10:36 Tim&Blog 阅读(249) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示