上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 17 下一页
摘要: kafka发送消息原理图 producer发送消息核心流程图 阅读全文
posted @ 2020-12-19 11:38 宁君 阅读(327) 评论(0) 推荐(0) 编辑
摘要: Kafka高性能的原理 高性能,高并发,高可用 使用了NIO技术。高并发。 顺序读写。硬盘的顺序读写性能要高于内存的随机读写。 跳表设计。 稀疏索引。index文件里面有部分offset的位置。 使用零拷贝。从内存,直接拷贝到网卡。 producer: 按批次发消息,而不是条数。 producer: 阅读全文
posted @ 2020-12-19 11:30 宁君 阅读(202) 评论(0) 推荐(0) 编辑
摘要: Hbase表设计 1. RowKey设计 Rowkey设计三原则 一、rowkey长度原则 越短越好,不要超过16个字节。 二、rowkey散列原则 三、rowkey唯一原则 2.列簇设计 最好一个列簇,命名一个字符足以。 3. 建表高级属性 1、BLOOMFILTER(布隆过滤器) 使用方法: c 阅读全文
posted @ 2020-12-19 10:35 宁君 阅读(187) 评论(0) 推荐(0) 编辑
摘要: Hbase的读写过程 Hbase的读过程 1、客户端通过ZooKeeper以及-ROOT-表和.META.表找到目标数据所在的RegionServer(就是数据所在的 Region的主机地址) 2、联系RegionServer查询目标数据 3、RegionServer定位到目标数据所在的Region 阅读全文
posted @ 2020-12-19 10:34 宁君 阅读(221) 评论(0) 推荐(0) 编辑
摘要: Hbase各组件职责 Client职责 1、HBase有两张特殊表: .META.:记录了用户所有表拆分出来的的Region映射信息,.META.可以有多个Regoin -ROOT-:记录了.META.表的Region信息,-ROOT-只有一个Region,无论如何不会分裂 2、Client访问用户 阅读全文
posted @ 2020-12-19 10:33 宁君 阅读(368) 评论(0) 推荐(0) 编辑
摘要: 什么是java的深浅拷贝? 浅拷贝 就是很肤浅的拷贝,只拷贝了别人的地址。没有拷贝地址里面的值。地址里面的值改变后,就都改变了。 深拷贝 就是很深入的拷贝,深入到核心的拷贝,拷贝了别人地址里面的值,别人的值改变后,我不受影响。 阅读全文
posted @ 2020-12-19 10:02 宁君 阅读(80) 评论(0) 推荐(0) 编辑
摘要: flink问题1 报错: More buffers requested available than totally available 查看源码: /** * This method makes sure that at least a certain number of memory segme 阅读全文
posted @ 2020-12-19 09:53 宁君 阅读(180) 评论(0) 推荐(0) 编辑
摘要: Flink内存模型 此图是基于flink1.12版本. 一个taskmanager给了6g内存,可以有很清楚的看到各个部分占用的内存,还是实时变化的. 名词解释 组件 配置项 描述 Framework Heap Memory taskmanager.memory.framework.heap.siz 阅读全文
posted @ 2020-12-18 22:16 宁君 阅读(3717) 评论(0) 推荐(0) 编辑
摘要: 使用 用来做大数据去重的。并且占用空间小。 原理 有一个全为0的byte数组 array。 把一个字符串a,使用hash算法,变成一个整数g,然后把array【g】位置的数变为1,代表这个数据出现过。 下次判断字符串a是否存在,就判断array【g】位置是否为1 。为1就存在,为0 就不存在。 优点 阅读全文
posted @ 2020-12-18 11:39 宁君 阅读(78) 评论(0) 推荐(0) 编辑
摘要: 一个 Spark 应用程序的完整执行流程 1、编写 Spark Application 应用程序 2、打 jar 包,通过 spark-submit 提交执行 3、SparkSubmit 提交执行 4、执行 Spark Application 的 main 方法 5、初始化 SparkContext 阅读全文
posted @ 2020-12-17 20:37 宁君 阅读(1354) 评论(1) 推荐(0) 编辑
上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 17 下一页