bonelee - 博客园

2017年1月31日

Hive mapreduce SQL实现原理——SQL最终分解为MR任务，而group by在MR里和单词统计MR没有区别了

摘要：转自：http://blog.csdn.net/sn_zzy/article/details/43446027 SQL转化为MapReduce的过程了解了MapReduce实现SQL基本操作之后，我们来看看Hive是如何将SQL转化为MapReduce任务的，整个编译过程分为六个阶段： Join的阅读全文

posted @ 2017-01-31 23:04 bonelee 阅读(12650) 评论(0) 推荐(1)

SQL group by底层原理——本质是排序，可以利用索引事先排好序

摘要：转自：http://blog.csdn.net/caomiao2006/article/details/52140993 由于GROUP BY 实际上也同样会进行排序操作，而且与ORDER BY 相比，GROUP BY 主要只是多了排序之后的分组操作。当然，如果在分组的时候还使用了其他的一些聚合函数阅读全文

posted @ 2017-01-31 22:48 bonelee 阅读(25934) 评论(0) 推荐(0)

2017年1月26日

TODO

摘要： 1、搜索引擎原理——从索引、搜索、facet底层原理看搜索引擎的本质2、开源搜索引擎分析——lucene(ES、Solr)、sphinx、wukong、bleve、poseidon、indextank-engine3、商业搜索引擎Splunk介绍——性能，架构，底层窥探4、提升CIS智能检索性能的方阅读全文

posted @ 2017-01-26 17:58 bonelee 阅读(527) 评论(0) 推荐(0)

达观数据分析平台架构和Hive实践——TODO

摘要：转自： http://www.infoq.com/cn/articles/hadoop-ten-years-part03 转自： http://www.infoq.com/cn/articles/hadoop-ten-years-part03 编者按：Hadoop于2006年1月28日诞生，至今已有阅读全文

posted @ 2017-01-26 17:54 bonelee 阅读(440) 评论(0) 推荐(0)

日志和告警数据挖掘经验谈——利用日志相似度进行聚类，利用时间进行关联分析

摘要：摘自：http://www.36dsj.com/archives/75208 最近参与了了一个日志和告警的数据挖掘项目，里面用到的一些思路在这里和大家做一个分享。项目的需求是收集的客户系统一个月300G左右的的日志和告警数据做一个整理，主要是归类(Grouping)和关联(Correlation) 阅读全文

posted @ 2017-01-26 17:09 bonelee 阅读(7795) 评论(0) 推荐(0)

大数据分析处理框架——离线分析（hive，pig，spark）、近似实时分析（Impala）和实时分析（storm、spark streaming）

摘要：大数据分析处理架构图数据源：除该种方法之外，还可以分为离线数据、近似实时数据和实时数据。按照图中的分类其实就是说明了数据存储的结构，而特别要说的是流数据，它的核心就是数据的连续性和快速分析性；计算层：内存计算中的Spark是UC Berkeley的最新作品，思路是利用集群中的所有内存将要处理阅读全文

posted @ 2017-01-26 16:37 bonelee 阅读(6685) 评论(0) 推荐(0)

lucene中facet实现统计分析的思路——本质上和word count计数无异，像splunk这种层层聚合（先filed1统计，再field2统计，最后field3统计）lucene是排序实现

摘要： http://stackoverflow.com/questions/185697/the-most-efficient-way-to-find-top-k-frequent-words-in-a-big-word-sequence http://www.geeksforgeeks.org/find 阅读全文

posted @ 2017-01-26 10:06 bonelee 阅读(1273) 评论(0) 推荐(0)

2017年1月25日

基于100,000篇演讲的分析数据科学家发现了最佳演讲者的特征——及时解释听众不懂的词语，必要时提高10%的音调，正确和恰当的手势，氛围的营造

摘要： [TD精选] 基于100,000篇演讲的分析数据科学家发现了最佳演讲者的特征相信大部分人一定试图寻找过使得自己的演讲变得更加吸引人，更加有气势的方法。现如今，在大数据工具和机器学习技术的辅助下，找到完美演讲的答案已经变得十分容易。Noah Zandan, CEO of Quantified Com 阅读全文

posted @ 2017-01-25 15:28 bonelee 阅读(414) 评论(0) 推荐(0)

logz.io一个企业级的ELK日志分析器内部集成了机器学习识别威胁——核心：利用用户对于特定日志事件的反馈处理动作来学习判断日志威胁 + 类似语音识别的专家系统从各方收集日志威胁信息

摘要：转自：可看到它使用机器学习算法来识别DNS安全问题 http://logz.io/blog/machine-learning-log-analytics/ A Machine Learning Approach to Log Analytics By Tomer Levy| January 19t 阅读全文

posted @ 2017-01-25 15:23 bonelee 阅读(2464) 评论(0) 推荐(0)

2017年1月24日

lucene搜索之facet查询原理和facet查询实例——TODO

摘要：转自：http://www.lai18.com/content/7084969.html Facet说明我们在浏览网站的时候，经常会遇到按某一类条件查询的情况，这种情况尤以电商网站最多，以天猫商城为例，我们选择某一个品牌，系统会将该品牌对应的商品展示出来，效果图如下：如上图，我们关注的是品牌，选购阅读全文

posted @ 2017-01-24 15:36 bonelee 阅读(1881) 评论(0) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告