会员
周边
捐助
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Nucky_yang
大数据 hadoop spark hive hbase ElasticSearch SpringBoot
博客园
首页
新随笔
联系
订阅
管理
2018年6月28日
用bitSet做百万级ip去重
摘要: 如果直接将几百万数据仍到bitset,内存是否够用?实际测试,600万ip放到一个bitSet中,jvm内存会爆。 所以,就简单做了下分组,构建一个HashMap<String, BitSet>, 以192.168.6.2为例,将192.168直接截取为字符串,当作hashmap的key,后2位补零
阅读全文
posted @ 2018-06-28 19:28 Nucky_yang
阅读(1584)
评论(0)
推荐(0)
编辑
公告