上一页 1 ··· 223 224 225 226 227 228 229 230 231 ··· 270 下一页
摘要: 转自: http://www.cnblogs.com/forfuture1978/p/3945755.html 好好看看吧 倒排列表信息中词典相关存储的最关键格式 占倒排列表中文件大小的多数 我们来看最复杂的部分,就是Term Dictionary和Term Index文件,Term Diction 阅读全文
posted @ 2017-03-27 15:30 bonelee 阅读(1123) 评论(0) 推荐(0) 编辑
摘要: 超线程是Intel 所研发的一种技术,于2002年发布。超线程的英文是HT技术,全名为Hyper-Threading,中文又名超线程。超线程技术原先只应用于Intel Xeon处理器中,当时称为Super-Threading。之后陆续应用在Pentium 4中,将技术主流化。 超线程是Intel 所 阅读全文
posted @ 2017-03-27 11:13 bonelee 阅读(1111) 评论(0) 推荐(0) 编辑
摘要: 转自infoQ! 根据 O’Reilly 2016年数据科学薪资调查显示,SQL 是数据科学领域使用最广泛的语言。大部分项目都需要一些SQL 操作,甚至有一些只需要SQL。 本文涵盖了6个开源领导者:Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto,还加上Calci 阅读全文
posted @ 2017-03-27 10:16 bonelee 阅读(28951) 评论(0) 推荐(0) 编辑
摘要: 归并线程配置 segment 归并的过程,需要先读取 segment,归并计算,再写一遍 segment,最后还要保证刷到磁盘。可以说,这是一个非常消耗磁盘 IO 和 CPU 的任务。所以,ES 提供了对归并线程的限速机制,确保这个任务不会过分影响到其他任务。 在 5.0 之前,归并线程的限速配置  阅读全文
posted @ 2017-03-25 16:55 bonelee 阅读(14398) 评论(0) 推荐(1) 编辑
摘要: Presto 是由 Facebook 开源的大数据分布式 SQL 查询引擎,适用于交互式分析查询,可支持众多的数据源,包括 HDFS,RDBMS,KAFKA 等,而且提供了非常友好的接口开发数据源连接器。 介绍 Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinato 阅读全文
posted @ 2017-03-25 11:09 bonelee 阅读(5823) 评论(0) 推荐(0) 编辑
摘要: 然后CPU占用接近100%了。 阅读全文
posted @ 2017-03-25 10:46 bonelee 阅读(581) 评论(0) 推荐(0) 编辑
摘要: store NO 压缩后的原始数据 原始数据大小 索引大小 索引时间 单词搜索时间 266 791 594 176 0.2 文件组成见后 运行forceMerge(3)后 merge的本质是减少cfx文件 变为pos和doc 索引大小 .doc .pos tip/tim cfs 仅1个 506 13 阅读全文
posted @ 2017-03-24 18:02 bonelee 阅读(417) 评论(0) 推荐(0) 编辑
摘要: 最新的lucene 3.0的field是这样的: Field options for indexingIndex.ANALYZED – use the analyzer to break the Field’s value into a stream of separate tokens and m 阅读全文
posted @ 2017-03-23 12:02 bonelee 阅读(892) 评论(0) 推荐(0) 编辑
摘要: 摘自:http://makble.com/what-is-term-vector-in-lucene given a document, find all its terms and the positions information of these terms. Index tell us wh 阅读全文
posted @ 2017-03-23 11:54 bonelee 阅读(971) 评论(0) 推荐(0) 编辑
摘要: 为了进一步探讨这种批处理和实时处理有效整合在同一系统的架构,我们将在今天的文章中分析Lambda三层结构模型的适用场景,同时暴露出Lambda架构一个最明显的问题:它需要维护两套分别跑在批处理和实时计算系统上面的代码,而且这两套代码需要产出一致的结果。根据对此缺点的分析,我们引出当时还在Linked 阅读全文
posted @ 2017-03-23 09:44 bonelee 阅读(8948) 评论(0) 推荐(0) 编辑
上一页 1 ··· 223 224 225 226 227 228 229 230 231 ··· 270 下一页