海量数据面试总结
参考文献：http://kb.cnblogs.com/page/95701/
海量数据处理方法要点：
1.Bloom filter
适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集。
要点：hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。
举例：
2.Hashing
适用范围：快速查找，删除的基本数据结构，通常需要总数据量可以放入内存
要点：hash函数选择，针对字符串，整数，排列，具体相应的hash方法
举例：在200w数据中，查找某一条数据，先对元素哈希出一个值来，然后将该值对应的数据下标处存储或查找。
3.bit-map
适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下。
基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码。
举例：判重，可以用1个或2个bit来表示一个元素。
4.堆
适用范围：海量数据前n大，并且n比较小，堆可以放入内存
要点：最大堆求前n小，最小堆求前n大。方法，比如求前n小，我们比较当前元素与最大堆里的最大元素，如果它小于最大元素，则应该替换那个最大元素。这样最后得到的n个 元素就是最小的n个。适合大数据量，求前n小，n的大小比较小的情况，这样可以扫描一遍即可得到所有的前n元素，效率很高。
举例：100w中求前100大：先把钱100个数建立最小堆，如果后面的数比堆中最小数大，则替换掉。
5.双桶划分（分而治之）
适用范围：第k大，中位数，不重复或重复的数字
基本原理及要点：因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后最后在一个可以接受的范围进行。可以通过多次缩小，双层只是一个例子。
举例：2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。
有点像鸽巢原理，整数个数为2^32,也就是，我们可以将这2^32个数，划分为2^8个区域(比如用单个文件代表一个区域)，然后将数据分离到不同的区域，然后不同的区域在利用bitmap就可以直接解决了。也就是说只要有足够的磁盘空间，就可以很方便的解决。
6.数据库索引
适用范围：大数据量的增删改查
基本原理及要点：利用数据的设计实现方法，对海量数据的增删改查进行处理。
7.倒排索引
适用范围：搜索引擎，关键字查询
基本原理及要点：为何叫倒排索引？一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。
举例：T0 = "it is what it is" T1 = "what is it" T2 = "it is a banana"
我们就能得到下面的反向文件索引：
"a": {2} "banana": {2} "is": {0, 1, 2} "it": {0, 1, 2} "what": {0, 1}
8.外排序
适用范围：大数据的排序，去重
基本原理及要点：外排序的归并方法，置换选择败者树原理，最优归并树
举例：有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16个字节，内存限制大小是1M。返回频数最高的100个词
分成1000份，对每一份求其最高100词，然后归并。
9.trie树
适用范围：数据量大，重复多，但是数据种类小可以放入内存
基本原理及要点：实现方式，节点孩子的表示方式
举例：寻找热门查询：查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个，每个不超过255字节。
10.分布式处理
面试题：n个整数的序列，其中一个整数重复次数超过一半，在O(n)时间内找出该整数
先列出2个牛人给出的较好的答复
方法1：既然过半，那么用这个数与其他数配对的话，剩余的数字一定还是过半的这个数字。因此可以通过不断删除不同的2个数，直到没有不同的2个数，那么这个数就是要找的数。
证明：最坏情况下，只有这个数同别的数配对，并且被删除，剩下的仍旧是这个数，因此得证。
链接：http://blog.163.com/xie_wenbin613/blog/static/175489095201242625851399/ 中第4方法；
方法2：是一种投票思路，定义2个变量；1个为候选人，另外1个为投票数。如果下一个人投票相同，则投票数加1，否则减1，当投票数小于0时，则更换为此时的候选人。循环一遍，剩下来的最后剩下来的就是这个数；
证明：其中1个人投票过半，则剩余的人的票循环结束后，一定小于0，通过反正得证。
同样给出链接：http://kenby.iteye.com/blog/1031114 我们要尊重别人的成果。
