上一页 1 ··· 251 252 253 254 255 256 257 258 259 ··· 271 下一页
2017年1月6日
NoSQL生态系统——类似Bigtable列存储，或者Dynamo的key存储（kv存储如BDB，结构化存储如redis，文档存储如mongoDB）
摘要： 摘自：http://www.ituring.com.cn/article/4002# NoSQL系统的数据操作接口应该是非SQL类型的。但在NoSQL社区，NoSQL被赋予了更具有包容性的含义，其意为Not Only SQL，即NoSQL提供了一种与传统关系型数据库不太一样的存储模式，这为开发者提供 阅读全文
posted @ 2017-01-06 15:06 bonelee 阅读(1262) 评论(0) 推荐(0) 编辑
ubuntu 下非交互式执行远程shell命令
摘要： apt-get install sshpass sshpass -p **your_password** ssh -o StrictHostKeyChecking=no "root@$ip" "du -sm /home/bone/ext_disk/splunk/var/lib" 参考： https: 阅读全文
posted @ 2017-01-06 11:17 bonelee 阅读(927) 评论(0) 推荐(0) 编辑
Dynamo分布式系统——「RWN」协议解决多备份数据如何读写来保证数据一致性，而「向量时钟」来保证当读取到多个备份数据的时候，如何判断哪些数据是最新的这种情况
摘要： 转自：http://blog.jqian.net/post/dynamo.html Dynamo是Amazon开发的一款高可用的分布式KV系统，已经在Amazon商店的后端存储有很成熟的应用。它的特点：总是可写（500+ per sec, 99.9% <300ms），并且可以根据需求优化配置（调整R 阅读全文
posted @ 2017-01-06 10:12 bonelee 阅读(1590) 评论(0) 推荐(0) 编辑
2017年1月5日
Berkeley DB的数据存储结构——哈希表（Hash Table）、B树（BTree）、队列（Queue）、记录号（Recno）
摘要： Berkeley DB的数据存储结构 BDB支持四种数据存储结构及相应算法，官方称为访问方法（Access Method），分别是哈希表（Hash Table）、B树（BTree）、队列（Queue）、记录号（Recno）。在创建数据库的时候，必须通过dbtype参数将存储结构指定为上述结构中的一种 阅读全文
posted @ 2017-01-05 10:05 bonelee 阅读(1829) 评论(0) 推荐(0) 编辑
sphinx索引分析续
摘要： 4.10 同义词文件/Synonym 同义词文件格式 from=>to AT &T => AT&T AT & T => AT & T standarten fuehrer => Standartenfuehrer standarten fuhrer => Standartenfuehrer Ms-D 阅读全文
posted @ 2017-01-05 09:08 bonelee 阅读(334) 评论(0) 推荐(0) 编辑
sphinx索引分析——文件格式和字典是double array trie 检索树，索引存储 – 多路归并排序，文档id压缩 – Variable Byte Coding
摘要： 1 概述 这是基于开源的sphinx全文检索引擎的架构代码分析，本篇主要描述index索引服务的分析。当前分析的版本 sphinx-2.0.4 1 概述 这是基于开源的sphinx全文检索引擎的架构代码分析，本篇主要描述index索引服务的分析。当前分析的版本 sphinx-2.0.4 这是基于开源 阅读全文
posted @ 2017-01-05 09:07 bonelee 阅读(784) 评论(0) 推荐(0) 编辑
2017年1月4日
HashTree（哈希树） ——和trie类似，只是将字符换成了质数，sphinx用到了？？？
摘要： 摘自：http://blog.csdn.net/yang_yulei/article/details/46337405 哈希树的理论基础 【质数分辨定理】 简单地说就是：n个不同的质数可以“分辨”的连续整数的个数和他们的乘积相等。“分辨”就是指这些连续的整数不可能有完全相同的余数序列。 （这个定理的 阅读全文
posted @ 2017-01-04 17:44 bonelee 阅读(1382) 评论(0) 推荐(0) 编辑
sphinx索引文件进一步说明——最好是结合lucene一起看，直觉告诉我二者本质无异
摘要： 摘自：http://blog.csdn.net/cangyingzhijia/article/details/8592441 Sphinx使用的文件包括 “sph”， “spa”， “spi”， “spd”, “spp”， “spm” ，还有锁文件。其中sph是系统的配置文件。其它则为索引文件。 . 阅读全文
posted @ 2017-01-04 17:18 bonelee 阅读(1904) 评论(1) 推荐(0) 编辑
sphinx 源码阅读之分词，压缩索引，倒排——单词对应的文档ID列表本质和lucene无异 也是外部排序再压缩 解压的时候需要全部扫描doc_ids列表偏移量相加获得最终的文档ID
摘要： 转自：http://github.tiankonguse.com/blog/2014/12/03/sphinx-token-inverted-sort.html 外部排序 现在我们的背景是有16个已经排序的数据存在磁盘上。由于数据量很大，我们不能一次性全部读进来。 我们的目标是依次挑出最小的hit， 阅读全文
posted @ 2017-01-04 17:09 bonelee 阅读(577) 评论(0) 推荐(0) 编辑
sphinx 源码阅读之分词，压缩索引，倒排——单词对应的文档ID列表本质和lucene无异 也是外部排序再压缩 解压的时候需要全部扫描doc_ids列表偏移量相加获得最终的文档ID
摘要： 转自：http://github.tiankonguse.com/blog/2014/12/03/sphinx-token-inverted-sort.html 前言 sphinx 在创建索引前需要做下面几件事：有数据源(pSource)，有分词器(pTokenizer)，有停止词Stopword 阅读全文
posted @ 2017-01-04 16:58 bonelee 阅读(469) 评论(0) 推荐(0) 编辑
上一页 1 ··· 251 252 253 254 255 256 257 258 259 ··· 271 下一页