摘要： 老规矩,有些知识很容易忘记啊,还是记录一下咯. google guava cache中,有很多参数. 1.expireAfterAccess(n , timeunit) 表示cache中管理的key如果在n(s,m,h,d)时间范围内没有被使用,则被cache驱逐. 2.maximumSize(n) 阅读全文

摘要： 好多天没来了，今天在用maven 打包的时候遇到了一个jvm相关的问题,so record it。。。 事件还原: mvn install的时候报错: Exception in thread "main" java.lang.StackOverflowError at sun.nio.cs.UTF_ 阅读全文

摘要： 背景: 最近看到一篇文章说twitter内部已经用heron代替storm了,so ...带着好奇心,看了一篇两者的对比.文章前半部分说storm现在遇到的困难.包括:日志的定位,内存资 源的分配,nimbus单点问题以及瓶颈, bolt缺少背压机制等等...在评估和各种条件下,twitter团队决 阅读全文

摘要： 应用场景: 如网站每个链接的用户点击数 传统方法: 1.基于B-Tree的基数实现. 优点:查找，插入和内存之间非常平衡. 缺点:数据量特别巨大时，内存使用非常可观，而且不能方便的进行合并. 2.基于bitmap的基数实现. 优点:运算效率非常高，且可以合并. 缺点:使用的内存与基数的上限有关，内存 阅读全文

摘要： 1>处理速度增加, 延迟减少.性能提升10倍以上,延迟减少60%. 实际应用最少提升性能3倍以上. 2>pacemaker, wokrer间心跳服务器.减少了通过zookeeper保持心跳的瓶颈. 通过in-memory store这些数据. 3>分布式缓存api, 支持在命令行更改缓存内容.不需要 阅读全文

摘要： 申明：所有环境均在本地 <spark-streaming> 1. 在本地运行读取kafka的时候 spark.master should be set as local[n], n > 1 in local mode if you have receivers to get data, otherw 阅读全文

摘要： 感觉平时用到zookeeper的地方挺多的，但是好像从来没搭建过。于是网上找了些教程在本地搭了一个。唯一要说的就是在本地搭建集群模式的时候，注意server之间的端口不要重 复，不然会报错误的..还有，只启动一个时会报错，错误内容是监听其它端口的时候连不上，等配置文件中所有的server都起来以后就 阅读全文

摘要： 第一步，在https://github.com/mobz/elasticsearch-head下载elasticsearch-head-master.zip,解压在本地.然后复制解压后的文件夹到/plugins下. 验证：启动es,在浏览器输入:http://localhost:9200/_plug 阅读全文

摘要： 之前在工作中需要用到将一个尾表放入redis中便于查询。但是该文件内容每天都会变化。所以得写定时器定时读取最新文件然后录入redis中。但是分析日志发现，每次执行该任务都要花费好几个小时，太慢了，作为一个程序员这怎么能接受，就想着给优化一下. 首先想到的是多线程同时读这个文件，但是多线程读同一个文件 阅读全文

摘要： bitmap可以用来存储一些需要统计的东西，比如日活跃用户，某一页面点击量等等。有点是占用内存小，速度快。但是值只能是0/1 hyperloglog 使用内存大小是一定的，用来做基数统计。但是只能不能get改值. 阅读全文