摘要：
Hbase默认建表是只有一个分区的，开始的时候所有的数据都会查询这个分区，当这个分区达到一定大小的时候，就会进行做split操作； 因此为了确保regionserver的稳定和高效，应该尽量避免region分裂和热点的问题； 那么有的同学在做预分区的时候，可能是按照： 1）： 通过Hbase提供的a 阅读全文
摘要：
类似Uber，需要处理处不同时间段的不同地区的订单热点区域，帮助进行网约车的及时调度处理 每个成交单Order中，都会有订单上车位置的起始经纬度：open_lat , open_lng 那么在这个时间段内，哪些地区是高密集订单区域，好进行及时的调度，所以需要得到不同地区的热力图 初期想法是基于经纬度 阅读全文
摘要：
版本：自己编译的hbase-1.2.0-cdh5.14.0 默认情况下，Hbase不开启snappy压缩 , 所以在hbase的lib/native目录下什么也没有（我的前提是执行hadoop checknative可以看到hadoop是支持snappy的） 第一步： 需要将snappy-java- 阅读全文
摘要：
需求： 每分钟执行一次程序，将处理后的数据写入mongodb 最初做法： 1）：写crontab没有响应，于是打算通过shell脚本的while true来执行 当时sb，没控制时间内，而且我还是用nohup XXXX.sh 2>&1 & 结果就是，几乎每一个瞬间启动一个jar，服务器内存瞬间沾满 阅读全文