摘要: Flink内存模型 此图是基于flink1.12版本. 一个taskmanager给了6g内存,可以有很清楚的看到各个部分占用的内存,还是实时变化的. 名词解释 组件 配置项 描述 Framework Heap Memory taskmanager.memory.framework.heap.siz 阅读全文
posted @ 2020-12-18 22:16 宁君 阅读(3717) 评论(0) 推荐(0) 编辑
摘要: 使用 用来做大数据去重的。并且占用空间小。 原理 有一个全为0的byte数组 array。 把一个字符串a,使用hash算法,变成一个整数g,然后把array【g】位置的数变为1,代表这个数据出现过。 下次判断字符串a是否存在,就判断array【g】位置是否为1 。为1就存在,为0 就不存在。 优点 阅读全文
posted @ 2020-12-18 11:39 宁君 阅读(78) 评论(0) 推荐(0) 编辑