大数据浅析
1.bit是计算机表示数据最小的单位，又称位，由0/1组成。
1Byte=8bit
Byte（字节）：计算机处理数据的单位，计算机以字节为单位处理数据
1KB = 1024Byte
1MB = 1024KB
1GB = 1024MB
1TB = 1024GB
2^32 bit = 2^32 / 8 Byte = 2^10 * 2^10 * 2^10 * 4 / 8= 4GB / 8 = 512 MB
2的次方数
2 4 8 16 32 64 128 256(8) 512 1024(10) …. 2^32 =4294967296
2^32位 即32位处理器（计算机的寻址大小）的内存为4*1024*1024*1024Byte=4 294 967 296Byte = 4GB
2^64位 即64位处理器（计算机的寻址大小）的内存为2^64Byte = 170亿GB
1GB 约等于10^9B 也就是10亿字节
二）哈希函数
1.哈希函数即散列函数
哈希函数的输入域可以是非常大的范围，但是输出域是固定范围。
2.哈希函数的性质
a.典型的哈希函数都有无限的输入值域
b.输入值相同时，返回值相同，返回值即哈希值
c.输入值不同时，返回值可能相同，也可能不同
d.不同输入值得到的哈希值，整体均匀分布在输出域s上
前三点性质是哈希函数的基础，最后一点是评价一个哈希函数优劣的关键。
3）无论哈希函数设计多么精细，都会产生冲突现象，也就是2个关键字处理函数的结果映射在同一位置上，因此，有一些方法可以避免冲突。
一个优秀的哈希函数可以使不同输入值得到的哈希值均匀分布，哈希值越均匀的分布在s上，该哈希函数越优秀。这种均匀分布与输入值无关，比如"aaa1","aaa2","aaa3"，虽然相似，但一个优秀的哈希函数计算出的哈希值应该差异巨大。这样s（输出域）对%m后的结果，也会均匀分布在0~m-1这个值域上。这一点在哈希函数的应用中是非常重要的。
4.如何设计哈希函数以及如何处理冲突，请看这篇博客：散列查找
三）Map-Reduce思想
把大任务分成两个阶段：
1.Map阶段（分）
通过哈希函数把任务分成若干个子任务，哈希函数是系统自带的或是用户指定的，相同哈希值的任务会被分配到同一个节点上。在分布式系统中，一个节点可以实一个计算节点，也可以是一台计算机。
2.Reduce阶段
分开处理，并行运算，然后合并结果的阶段。
3.Map-Reduce的原理简单，但在工程上的实现会遇到很多问题
a.备份的考虑，分布式存储的设计细节，以及容灾策略
b.任务分配策略与任务进度跟踪的细节设计，以及结点==节点状态的呈现
c.分布式系统多用户权限的控制
4.用Map-Reduce方法统计一篇文章中每个单词出现的个数
1）首先把文章进行预处理，最终得到一篇单词字符串文本
比如去掉文章中的标点符号；对连字符”-“的处理，如pencil-box，和换行处的连字符；对于缩写的处理，如I’m、don’t等等；大小写的转换等。
2）输入文本，生成每个单词词频为1的记录进入map阶段
对每个单词都生成词频为1的记录。比如(dog,1)、(pig,1)等。此时一个单词可能有多个词频为1的记录，比如说可能有多个(dog,1)的记录。
3）通过哈希函数，将单词文本分流成多个小文件
根据哈希函数的性质我们知道，单词相同的记录会被分配到一起。
4）进入Reduce阶段
在子任务中，同一单词的词频进行合并，最后得到所有记录并同一合并。因为每个子任务都是
并行处理的，所以效率较高。
（四）.常见海量数据处理题目的解题关键
1. 分而治之，通过哈希函数将大文件分流到机器，或是分流成小文件，对每一个小文件进行处理，然后再把结果给合并起来
2. 常用HashMap，bitmap等数据结构。
3. 难点在于通讯，时间和空间的估算。
（五）.bitmap解决大数据量文件排序
【题目】请对10亿个IPV4的ip地址进行排序，每个ip只会出现一次。每个ip只会出现一次。
关键：只会出现一次，所以可以考虑使用bitmap模型。
IPV4规定IP地址长度为32（按TCP/IP参考模型划分），即有2^32-1个地址
IPV6协议的地址长度为128位。全部可分配地址数为2^128个
1）普通方法：IPV4的ip数量大约为42亿，我们要记住2^32约等于42亿！！每个ip需要4B来存储。10亿个ip全部转换为无符号整数，然后使用快速排序方法，然后把10亿个排好序的数字转换为ip地址。需要4GB的内存空间。
2）bitmap方法
申请一个长度为2^32的bit类型数组，每个位置是1个bit，只可表示0或者1两种状态，空间大概为2^29字节，大约512MB
如果整数1出现，就把bitmap对应的位置从0变到1，这个数组可以表示任意一个（注意是一个）32位无符号整数是否出现过，
然后把10亿个ip地址全部转换成整数，相应的在bitmap中相应的位置描黑即可，
最后只要从bitmap的零位一直遍历到最后，然后提取出对应不为0位的整数，再转换成ip地址，就完成了从小到大的排序。
（五）.桶排序处理大数据
【题目】请对10亿个年龄进行排序
【关键】年龄是有范围的，一般为0~200.所以我们很容易联想到桶排序！通过桶排序的进化版基数排序实现最终排序。
大家可以看看我的这篇博客：十大排序算法
