2019寒假训练营寒假作业（三） 对Sketch——CM-Sketch的理解（理论题部分）
# 实验题部分
## 基本题
### 1、简述sketch： - 对于数据流中大量的元素要统计其特征（出现频率，数据流大小），对数据流多次使用哈希函数将事件映射到频率，在合理的偏差内估计其大小，并显著减少内存占用，是一种可靠性较高的概率统计数据结构。
### 2、Count-min Sketch： - 预备知识1：通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度，这个映射函数叫做哈希函数或散列函数。主要操作是对数据进行加法、乘法和移位运算。 - 预备知识2：Hash函数的基本特性： - 1.经过hash后能够得到相应输入的散列值。如果两个散列值是不相同的（根据同一函数），那么这两个散列值的原始输入也是不相同的； - 2.散列函数的输入和输出不是一一对应的，如果两个散列值相同，两个输入值很可能是相同的但不绝对肯定一定相等（可能出现哈希碰撞）。 - 算法过程： > 使用d个hash函数，每个hash函数的取值范围都在[1,w]内，从而可以组成一个d * w的二维数组（hash table），该二维数组的长度大小固定。对于每个二元组(k, v)，代表元素k需要更新v次，则分别使用d个hash函数对k进行hash操作，得到d个mapped counters，然后对它们全部增加v（即需要更新的数据）。***（count含义）*** 当需要查询某个元素的频率估计值时，也是先根据hash函数得到mapped counters，然后取其中的最小值即可，因为最小代表了冲突次数最少，相对最精确。***（min含义）***
-- 摘引自他人博客《Sketch调研[https://blog.csdn.net/u012332103/article/details/79702495]》，有删改 
# 开放题部分
## 理论部分
### 1、解释为什么 sketch 可以省空间 Count-min-sketch在处理数据时引入了hash函数，能够把一个大范围映射到一个固定大小的小范围（简单来说，就是将任意长度的二进制值映射为固定长度的、大小唯一的较小二进制值），往往是为了节省空间、加快存取，使得数据容易保存。该函数是CM-Sketch能够极大节省空间的一个关键。 但是相应的代价是：由于上述hash函数的特性，多个key的散列值可能相同（哈希碰撞），从而导致探测计数器的估计值偏大。 因此为了减少哈希碰撞的概率： - 1、可使用多个哈希函数； - 2、可使用一个相对于数据足够大的素数进行hash操作；（例如2的32次方附近） - 3、提高d和w的大小（越大精度越高），但是相应的在估计中使用空间也会增大。
### 2、用流程图描述Count-min sketch的算法过程
备注：
- 1、Ai->Bi，就是IP和对应的请求大小；
- 2、update(Ai, Bi)包括了接下来的hash操作，是给Ai的原对应值上再添加Bi的值；
- 3、estimate(Ai)，得到各个探测计数器中的最小值并返回最小值；
- 4、边输入边算，这种流程图的方法，可能会多次重复输出已经输出过的Ai->Bi。
### 3、拿它和你改进后方法进行对比，分析优劣
优点：
- 1、只需利用相对独立的hash函数就能够解决内存占用问题，对庞大的数据流可以实时处理，直接通过hash函数也可以直接找到的对应的value，无需遍历，降低时间空间复杂度。
- 2、不需要精确估计数据包大小，适用于范围性问题，虽然结果可能偏大，但是理论上可以控制在合理误差范围内。
- 3、拓展性强，由于不容易受数据长度大小的影响，加上键-值对应，在此基础上可以发展成统计其他数据特征的数据结构。本人的原始代码只能处理一种定长格式的数据的其中一种特征。
劣势:
- 1、CM-Sketch的实现难度明显高于本人的代码，需要更深的知识掌握（例如两两独立的hash函数要如何创建），如果要求更高的精度，代码将会越复杂。
- 2、对于低频的数据估计值误差会偏大，可能不适用于需要太过精确判断的问题中。
### 4、吐槽Count-min sketch
- 1、外国人写个代码还好基本对函数和基本单元进行了封装，不然真的看不懂；
- 2、低频数据的准确度有时差到惊人，甚至有内存分配出错的状态发生（或许是我改动完以后的问题）（二更：不是我的问题， 代码自身的hash算法其中的大数运算导致的，已修改）；
- 3、hash算法和整体架构修改起来并不简单，但是看懂之后才会好很多。而且貌似偶尔会导致堆损坏？这个问题很不解,但是免不了对堆的维护，但它不会中断程序（如下截图，其中一次堆损坏）。
