摘要:
问题出现: ES集群中一台机器硬盘损坏,换上新的硬盘后,数据分片同步,Spark入ES的程序启动失败,ES是3副本存储的 Spark:2.2.0-cdh5.12.0 ES:6.3.2 错误日志: INFO scheduler.TaskSetManager: Lost task 8.1 in stag 阅读全文
摘要:
说明: Major Compaction 的作用: 1.将一个Region下的所有StoreFile合并成一个StoreFile文件 2.对于删除、过期、多余版本的数据进行清除 由于MajorCompation期间对集群的磁盘IO占和带宽占用较大,所以线上系统一般会禁用此功能,在集群负载较低时手动执 阅读全文
摘要:
业务场景: Kafka+SparkStreaming+Hbase由于数据大量的迁移,再加上业务的改动,新增了很多表,导致rerigon总数接近4万(36个节点) 组件版本: Kafka:2.1.1 Spark:2.2.0-cdh5.12.0 Hbase:1.2.0-cdh5.12.0 问题发现: C 阅读全文
摘要:
# 在源集群中创建快照(linux shell) hbase snapshot -t <table_name> -n <snapshot_name> 或(hbase shell) snapshot <table_name>, <snapshot_name> # 将快照从源集群导出到目标集群(linu 阅读全文