摘要: 1.hbase为什么要预分区? 如果创建表的时候没有做预分区,默认一个表就是一个region,一个region分裂之后变成两个region,两个region还是在同一台机器上。 为了解决数据倾斜问题,在创建表指定hbase表多个region分区规则,让数据负载在多台服务器上面。实现数据负载均衡,提高 阅读全文
posted @ 2020-04-26 18:51 所向披靡zz 阅读(198) 评论(0) 推荐(0) 编辑
摘要: 大数据版本 系统 centos7 内存 256G 核数 24核 磁盘 80T 大数据总共12台服务器 hadoop服务器 12台 yarn服务器 10台 zookeeper服务器 3台 kafka服务器 9台 elasticsearch服务器 11台22节点 探针服务器 10台 hadoop-hdp 阅读全文
posted @ 2020-04-26 18:49 所向披靡zz 阅读(542) 评论(0) 推荐(0) 编辑
摘要: 1.怎么解决kafka数据丢失的问题? kafka有两种发送数据的模式,异步和同步,默认选择的是同步发送消息。 同步:在同步模式如果ack消息确认机制为1只保证主节点写入成功,在进行主从复制如果主节点宕机,从节点将没有数据,数据就会丢失。 所以设置ack消息确认机制为-1,消息写入主节点和从节点才算 阅读全文
posted @ 2020-04-26 11:53 所向披靡zz 阅读(411) 评论(0) 推荐(0) 编辑
摘要: CasUser: /** * Copyright (c) 2020, All Rights Reserved. * */ package com.micropattern.urp.domain.entity.cas; import java.util.HashSet; import java.uti 阅读全文
posted @ 2020-04-26 10:54 所向披靡zz 阅读(256) 评论(0) 推荐(0) 编辑