2017年1月23日
elasticsearch聚合操作——本质就是针对搜索后的结果使用桶bucket（允许嵌套）进行group by，统计下分组结果，包括min/max/avg
摘要： 分析 最后，我们还有一个需求需要完成：允许管理者在职员目录中进行一些分析。 Elasticsearch有一个功能叫做聚合(aggregations)，它允许你在数据上生成复杂的分析统计。它很像SQL中的GROUP BY但是功能更强大。 + + 举个例子，让我们找到所有职员中最大的共同点（兴趣爱好）是 阅读全文
posted @ 2017-01-23 18:10 bonelee 阅读(9258) 评论(0) 推荐(0) 编辑
splunk的统计分析功能——特定字段的统计功能包括取值分布（+topK，min/max/平均值）
摘要： 特定字段的统计功能——取值分布，topK，min/max/平均值 例如： date_second 60 值, 100% 的事件 时段平均值 时段最大值 时段最小值 上限值 时段上限值 罕见值 具有此字段的事件 平均: 30.963998 最小值: 0 最大值: 59 标准 偏差: 17.300073 阅读全文
posted @ 2017-01-23 15:09 bonelee 阅读(2534) 评论(0) 推荐(0) 编辑
wiretiger引擎支持行、列存储、LSM，mongodb用的哪个？
摘要： 来自 http://source.wiredtiger.com/ WiredTiger is an high performance, scalable, production quality, NoSQL, Open Source extensible platform for data mana 阅读全文
posted @ 2017-01-23 12:03 bonelee 阅读(830) 评论(0) 推荐(0) 编辑
LSM树——放弃读能力换取写能力，将多次修改放在内存中形成有序树再统一写入磁盘，查找复杂度O(k*log(n))，结合bloom filter提高查找性能
摘要： 来自：http://www.open-open.com/lib/view/open1424916275249.html 十年前，谷歌发表了 “BigTable” 的论文，论文中很多很酷的方面之一就是它所使用的文件组织方式，这个方法更一般的名字叫 Log Structured-Merge Tree。 阅读全文
posted @ 2017-01-23 11:01 bonelee 阅读(649) 评论(0) 推荐(0) 编辑
LSM树——LSM 将B+树等结构昂贵的随机IO变的更快，而代价就是读操作要处理大量的索引文件(sstable)而不是一个，另外还是一些IO被合并操作消耗。
摘要： Basic Compaction 为了保持LSM的读操作相对较快，维护并减少sstable文件的个数是很重要的，所以让我们更深入的看一下合并操作。这个过程有一点儿像一般垃圾回收算法。 当一定数量的sstable文件被创建，例如有5个sstable，每一个有10行，他们被合并为一个50行的文件（或者更 阅读全文
posted @ 2017-01-23 10:56 bonelee 阅读(845) 评论(1) 推荐(0) 编辑
赴美生子的一些调研——诚信是拒签之本，中国的月子中心在美是非法的，医疗和教育费用高
摘要： 到美国生孩子的母亲一般都是拥有合法身份赴美，只能说是违规，而算不上违法。那为什么加州会频频发生月子中心被取缔的事情呢？ 原因不外乎四点。第一，美国法律规定居民区内不可经商，而月子中心一般都设在居民区，一旦被查就是违法经营；其次，有些月子中心为了招揽更多顾客而违章改建试图扩大房屋居住面积，这又触及了美 阅读全文
posted @ 2017-01-23 09:04 bonelee 阅读(616) 评论(0) 推荐(0) 编辑