bonelee - 博客园

2017年1月5日

摘要： 4.10 同义词文件/Synonym 同义词文件格式 from=>to AT &T => AT&T AT & T => AT & T standarten fuehrer => Standartenfuehrer standarten fuhrer => Standartenfuehrer Ms-D 阅读全文

posted @ 2017-01-05 09:08 bonelee 阅读(352) 评论(0) 推荐(0)

sphinx索引分析——文件格式和字典是double array trie 检索树，索引存储 – 多路归并排序，文档id压缩 – Variable Byte Coding

摘要： 1 概述这是基于开源的sphinx全文检索引擎的架构代码分析，本篇主要描述index索引服务的分析。当前分析的版本 sphinx-2.0.4 1 概述这是基于开源的sphinx全文检索引擎的架构代码分析，本篇主要描述index索引服务的分析。当前分析的版本 sphinx-2.0.4 这是基于开源阅读全文

posted @ 2017-01-05 09:07 bonelee 阅读(806) 评论(0) 推荐(0)

2017年1月4日

HashTree（哈希树） ——和trie类似，只是将字符换成了质数，sphinx用到了？？？

摘要：摘自：http://blog.csdn.net/yang_yulei/article/details/46337405 哈希树的理论基础【质数分辨定理】简单地说就是：n个不同的质数可以“分辨”的连续整数的个数和他们的乘积相等。“分辨”就是指这些连续的整数不可能有完全相同的余数序列。（这个定理的阅读全文

posted @ 2017-01-04 17:44 bonelee 阅读(1422) 评论(0) 推荐(0)

sphinx索引文件进一步说明——最好是结合lucene一起看，直觉告诉我二者本质无异

摘要：摘自：http://blog.csdn.net/cangyingzhijia/article/details/8592441 Sphinx使用的文件包括 “sph”， “spa”， “spi”， “spd”, “spp”， “spm” ，还有锁文件。其中sph是系统的配置文件。其它则为索引文件。 . 阅读全文

posted @ 2017-01-04 17:18 bonelee 阅读(1931) 评论(1) 推荐(0)

sphinx 源码阅读之分词，压缩索引，倒排——单词对应的文档ID列表本质和lucene无异也是外部排序再压缩解压的时候需要全部扫描doc_ids列表偏移量相加获得最终的文档ID

摘要：转自：http://github.tiankonguse.com/blog/2014/12/03/sphinx-token-inverted-sort.html 外部排序现在我们的背景是有16个已经排序的数据存在磁盘上。由于数据量很大，我们不能一次性全部读进来。我们的目标是依次挑出最小的hit，阅读全文

posted @ 2017-01-04 17:09 bonelee 阅读(595) 评论(0) 推荐(0)

摘要：转自：http://github.tiankonguse.com/blog/2014/12/03/sphinx-token-inverted-sort.html 前言 sphinx 在创建索引前需要做下面几件事：有数据源(pSource)，有分词器(pTokenizer)，有停止词Stopword 阅读全文

posted @ 2017-01-04 16:58 bonelee 阅读(479) 评论(0) 推荐(0)

Sphinx 的介绍和原理探索——不存储原始数据，原始数据来源于SQL，而生成索引放在内存或者磁盘中

摘要：摘自：http://blog.jobbole.com/101672/ What/Sphinx是什么定义：Sphinx是一个全文检索引擎。特性：索引和性能优异易于集成SQL和XML数据源，并可使用SphinxAPI、SphinxQL或者SphinxSE搜索接口易于通过分布式搜索进行扩展高速阅读全文

posted @ 2017-01-04 16:07 bonelee 阅读(1755) 评论(0) 推荐(0)

大数据处理的关键架构

摘要：大数据处理的关键架构层：大数据处理的关键架构层摘自：http://weibo.com/ttarticle/p/show?id=2309403960679466973487 阅读全文

posted @ 2017-01-04 15:44 bonelee 阅读(453) 评论(0) 推荐(0)

联机事务处理OLTP（on-line transaction processing）和联机分析处理OLAP（On-Line Analytical Processing)

摘要：什么是OLAP(联机分析处理)？这个是和数据处理非常相关的一个概念。接触过BI(商务智能)的同学一定清楚。数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processi 阅读全文

posted @ 2017-01-04 15:33 bonelee 阅读(1416) 评论(0) 推荐(0)

Druid.io索引过程分析——时间窗，列存储，LSM树，充分利用内存，concise压缩

摘要： Druid底层不保存原始数据，而是借鉴了Apache Lucene、Apache Solr以及ElasticSearch等检索引擎的基本做法，对数据按列建立索引，最终转化为Segment，用于存储、查询与分析。首先，无论是实时数据还是批量数据在进入Druid前都需要经过Indexing Servi 阅读全文

posted @ 2017-01-04 15:23 bonelee 阅读(3393) 评论(0) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告