随笔分类 - 故障处理

【SQOOP】记一次使用SQOOP抽数到Hive遇到的问题

摘要：记一次使用SQOOP抽数到Hive遇到的问题前置条件 1.源端数据库类型为Mysql 2.目标端是Hive库，beeline为1.1.0 3.Hive建表时使用了分桶，并且加入了stored as orc参数，之前这么创建是为了能够实现delete等操作处理过程最初想要在Sqoop中使用hca 阅读全文

posted @ 2022-08-25 18:03 风灵动铭阅读(556) 评论(0) 推荐(0) 编辑

【HDFS】删了HDFS又能怎样？记一次删库不跑路事件[转]

摘要：删了HDFS又能怎样？记一次删库不跑路事件[转]）一、事发背景二、应急措施直观的方案三、分析过程hdfs文件删除过程EditLog hdfs元数据的加载方案确定四、灾难重演反解析更改后的xml文件成editlog重命名掉之前的editlog替换反解析后的editlog 五、经验总结一、事发背阅读全文

posted @ 2022-08-25 18:03 风灵动铭阅读(331) 评论(0) 推荐(0) 编辑

【HDFS】记一次由JN性能瓶颈导致的NN频繁宕机异常

摘要：记一次由JN性能瓶颈导致的NN频繁宕机异常前言正文问题排查Ambari页面NN日志排查GC日志排查JN日志排查复现准备问题... 阅读全文

posted @ 2022-08-25 18:03 风灵动铭阅读(429) 评论(0) 推荐(0) 编辑

【HBASE】记一次HBase进行数据迁移，重建元数据

摘要：记一次HBase进行数据迁移，重建元数据前情提要正文数据迁移重建元数据测试查询后续的表修复Multiple regions ... 阅读全文

posted @ 2022-08-25 18:03 风灵动铭阅读(275) 评论(0) 推荐(0) 编辑

【HDFS】一次Namenode的RPC延迟故障排查引发的深入思考

摘要：一次Namenode的RPC延迟故障排查引发的深入思考前言正文问题排查初步定位临时恢复定位可疑进程问题分析问题脚本分析问题原因分析代码分析测试代码prometheus_client分析测试代码前言 12月1日，多个省份的HDFS集群出现NameNodeRPC延迟高的问题，当时通宵了一个晚上，阅读全文

posted @ 2022-08-25 18:03 风灵动铭阅读(877) 评论(0) 推荐(0) 编辑

【HDFS】NameNode格式化——组件恢复，数据丢失

摘要：NameNode格式化——组件恢复，数据丢失前情提要过程记录准备工作停止HDFS进程删除数据删除日志和临时目录启动JournalNode服务格式化HDFS执行NameNode格式化恢复Standby NameNode启动Standby NameNode 恢复依赖服务小结前情提要近段时间测试阅读全文

posted @ 2022-08-25 18:03 风灵动铭阅读(572) 评论(0) 推荐(0) 编辑

【HDFS】JN回滚大量edit日志导致Namenode主备切换的故障记录

摘要：JN回滚大量edit日志导致Namenode主备切换的故障记录前言正文问题排查调度服务状态HDFS服务状态问题分析Name... 阅读全文

posted @ 2022-08-25 18:03 风灵动铭阅读(472) 评论(0) 推荐(0) 编辑