随笔分类 - 海量数据
摘要：1. zookeeper： 高可用性的分布式协调服务 分布式困难在于部分失败：消息传递过程中，到底接收方收到与否，无法确定下来，才有了tcp协议的3次握手这样比较复杂的协议2. zk的实例 可以讲zk看成是一个文件系统，这个文件系统文友目录跟文件，只有 节点的概念，znode这个节点既可以看做是一个service，包括db实例，thrift service，也可以看做是一个保存其他service的容器，所有的这些znode 构成了一个tree型的结构，而基本的zk操作就是在这些节点上面进行的，包括 create 组，删除组，加入组，列出组的成员等 关于znode：有2中不同的类型，短暂的和永.
阅读全文
摘要：属于转贴一、 Bloom-Filter算法简介。 Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中，其优点是空间效率和查询时间都远远超过其他算法，其不足在于Bloom- Filter存在着误判。二、 Bloom-Filter的基本思想。 Bloom-Filter算法的核心思想就是利用多个不同的Hash函数来解决“冲突”。 计算某元素x是否在一个集合中，首先能想到的方法就是将所有的已知元素保存起来构成一个集合R，然后用元素x跟这些R中的元素一一比较来判断是否存在于集合R中；我们可以采用链表等数据结构来实现。但是，随着集合R中元素的增加，
阅读全文
摘要：1. 100万数据的产生,随机数方式#include <iostream>#include <time.h>#include <assert.h>#include <stdio.h>#include <stdlib.h>using namespace std;const int size = 10000000;int num[size];int main(){ int n; FILE *fp = fopen("data.txt", "w"); assert(fp); for (n = 1; n
阅读全文
