小跑、追幸福

2019年11月21日

摘要：问题出现： ES集群中一台机器硬盘损坏，换上新的硬盘后，数据分片同步，Spark入ES的程序启动失败，ES是3副本存储的 Spark：2.2.0-cdh5.12.0 ES：6.3.2 错误日志： INFO scheduler.TaskSetManager: Lost task 8.1 in stag 阅读全文

posted @ 2019-11-21 17:42 小跑、追幸福阅读(2662) 评论(0) 推荐(0) 编辑

2019年11月19日

Hbase 手动执行MajorCompation

摘要：说明： Major Compaction 的作用： 1.将一个Region下的所有StoreFile合并成一个StoreFile文件 2.对于删除、过期、多余版本的数据进行清除由于MajorCompation期间对集群的磁盘IO占和带宽占用较大，所以线上系统一般会禁用此功能，在集群负载较低时手动执阅读全文

posted @ 2019-11-19 17:35 小跑、追幸福阅读(997) 评论(0) 推荐(0) 编辑

2019年11月14日

Hbase Region合并

摘要：业务场景： Kafka+SparkStreaming+Hbase由于数据大量的迁移，再加上业务的改动，新增了很多表，导致rerigon总数接近4万（36个节点）组件版本： Kafka：2.1.1 Spark：2.2.0-cdh5.12.0 Hbase：1.2.0-cdh5.12.0 问题发现： C 阅读全文

posted @ 2019-11-14 15:12 小跑、追幸福阅读(1281) 评论(0) 推荐(2) 编辑

Hbase snapshot数据迁移

摘要： # 在源集群中创建快照(linux shell) hbase snapshot -t <table_name> -n <snapshot_name> 或(hbase shell) snapshot <table_name>, <snapshot_name> # 将快照从源集群导出到目标集群(linu 阅读全文

posted @ 2019-11-14 14:13 小跑、追幸福阅读(695) 评论(0) 推荐(0) 编辑

小跑、追幸福

公告