摘要：1.出于吞吐量以及系统压力上的考虑，并不是新增一条数据记录就采集一次，而是几句下面的原则，按照批次对数据进行采集 数据大小限制：当达到限制条件的时候，把目前采集到的新数据作为一批（例如512kb写一批） 时间阈值限制：当时间达到一定条件的时候，也会把目前采集到的新数据作为一批，避免在数据量少的情况下 阅读全文

摘要：LRU算法中，使用了一种有趣的数据结构，这种数据结构叫做哈希链表 什么是哈希链表？ 我们以用户信息的需求为例，演示一下LRU算法的思路 友情提示;java中的LinkedHashMap已经对哈希链表做了实现，redis底层实现了类似LRU的回收算法 阅读全文

摘要：Bitmap算法又叫做位图算法，缓存数据库Redis中也有对Bitmap算法的支持。 Bitmap不仅方便查询，还可以去掉重复的整数。 使用场景：帮助公司精准定位用户群体，需要开发一个用户画像系统，实现用户信息的标签化。 用户的标签包括用户的社会属性 生活习惯 消费行为等等信息，通过用户标签，我们可 阅读全文

摘要：作者：拥抱大数据链接：https://www.zhihu.com/question/391626341/answer/1204632615来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 引擎介绍: 首先你要知道Presto,Impala都属于开源OLAP引擎. Pre 阅读全文