上一页 1 ··· 214 215 216 217 218 219 220 221 222 ··· 273 下一页
2017年5月24日
python lmdb demo 这接口和BDB一样恶心啊！
摘要： 更多见：http://blog.csdn.net/ayst123/article/details/44077903，摘录如下： write 这里，先建立lmdb的instance， db_img。 然后开始txn(可能有很多个开始？)。 put 存放，最后一定注意要commit()。不然根本没有存进 阅读全文
posted @ 2017-05-24 14:59 bonelee 阅读(1966) 评论(0) 推荐(0)
ledisDB底层实现——本质上就是用leveldb这样的底层存储，和ssdb一样，meta里存的是hash、list等的元数据
摘要： Hash hash可以算是一种两级kv，首先通过key找到一个hash对象，然后再通过field找到或者设置相应的值。 在ledisdb里面，我们需要将key跟field关联成一个key，用来存放或者获取对应的值，也就是key:field这种格式。 这样我们就将两级的kv获取转换成了一次kv操作。 阅读全文
posted @ 2017-05-24 13:25 bonelee 阅读(1185) 评论(0) 推荐(0)
ssdb底层实现——ssdb底层是leveldb，leveldb根本上是skiplist（例如为存储多个list items，必然有多个item key，而非暴力string cat），用它来做redis的list和set等，势必在数据结构和算法层面上有诸多不适
摘要： 1. ssdb数据库说是类似redis，而且他们都有hash结构，但是他们的命名有点不同，ssdb 是（name，key，value） ，其实相对应的redis是（key，field，value），当然了对于使用函数上还是很像的； 2. ssdb中hash结构是（name，key，value），但l 阅读全文
posted @ 2017-05-24 11:41 bonelee 阅读(1075) 评论(0) 推荐(0)
2017年5月23日
golang文件读写三种方式——bufio，ioutil和os.create
摘要： 下面内容摘自:https://stackoverflow.com/questions/1821811/how-to-read-write-from-to-file-using-golang Start with the basics Here I used os.Open and os.Create 阅读全文
posted @ 2017-05-23 11:51 bonelee 阅读(9834) 评论(0) 推荐(0)
kafka备份机制——zk选举leader，leader在broker里负责备份
摘要： Kafka架构 如上图所示，一个典型的kafka集群中包含若干producer（可以是web前端产生的page view，或者是服务器日志，系统CPU、memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干consumer group，以及一个Z 阅读全文
posted @ 2017-05-23 11:32 bonelee 阅读(6996) 评论(0) 推荐(0)
splunk的bucket组织目录——时间序列，按照时间来组织目录
摘要： splunk的bucket组织目录：db_1481515116_1480695302_0db_1481537316_1481532688_1db_1481547598_1481539988_2db_1481617470_1481613403_3db_1481623046_1481619179_4db 阅读全文
posted @ 2017-05-23 10:14 bonelee 阅读(667) 评论(0) 推荐(0)
kafka的topic和分区策略——log entry和消息id索引文件
摘要： Topic在逻辑上可以被认为是一个在的queue，每条消费都必须指定它的topic，可以简单理解为必须指明把这条消息放进哪个queue里。 为了使得Kafka的吞吐率可以水平扩展，物理上把topic分成一个或多个partition，每个partition在物理上对应一个文件夹，该文件 夹下存储这个p 阅读全文
posted @ 2017-05-23 10:10 bonelee 阅读(4119) 评论(0) 推荐(0)
2017年5月22日
csharp OverflowException——超出数值范围会抛出异常
摘要： OverflowException 會在下列情況下執行階段擲回︰ 算術運算會產生作業所傳回的資料型別範圍之外的結果。 下列範例說明 OverflowException 超出範圍的乘法運算所擲回 Int32 型別。 C# int value = 780000000; checked { try { / 阅读全文
posted @ 2017-05-22 14:49 bonelee 阅读(1820) 评论(0) 推荐(0)
Elias-Fano编码算法——倒排索引压缩用，本质上就是桶排序数据结构思路
摘要： Elias-Fano编码过程如下：把一组整数的最低l位连接在一起，同时把高位以严格单调增的排序划分为桶。 Example: 2, 3, 5, 7, 11, 13, 24 Count in unary the size of upper bits “buckets” including empty o 阅读全文
posted @ 2017-05-22 12:16 bonelee 阅读(2724) 评论(0) 推荐(0)
2017年5月20日
倒排索引PForDelta压缩算法——基本假设和霍夫曼压缩同
摘要： PForDelta算法 PForDelta算法最早由Heman在2005年提出，它允许同时对整个chunk数据（例128个数）进行压缩处理。基础思想是对于一个chunk的数列（例128个），认为其中占多数的x%数据（例90%）占用较小空间，而剩余的少数1-x%（例10%）才是导致数字存储空间过大的异 阅读全文
posted @ 2017-05-20 14:27 bonelee 阅读(2338) 评论(1) 推荐(0)
上一页 1 ··· 214 215 216 217 218 219 220 221 222 ··· 273 下一页