密码学入门之彩虹表
如何存储密码才是安全的？
密码存储有几种方式：
- 直接存储密码明文m
- 存储密码明文的哈希值hash(m)
- 存储密码明文的加盐哈希 hash(m+salt)，这里的salt可以是用户名，手机号等，但必须保证每个用户的salt都不一样才是安全的。
如果数据库被入侵。
第一方式，明文存储，无安全性可言。
第二种方式，虽然是入侵者得到的是hash值，但由于彩虹表的存在，也很容易批量还原出密码明文来。
只有第三种方式才是相对安全的。
彩虹表不是 密码-->明文 的简单存储
要从c=hash(m)逆向得到原始明文m，有三种办法：
- 暴力破解法：时间成本太高。
- 字典法：提前构建一个“明文->密文”对应关系的一个大型数据库，破解时通过密文直接反查明文。但存储一个这样的数据库，空间成本是惊人的。
- 构建彩虹表：在字典法的基础上改进，以时间换空间。是现在破解哈希常用的办法。
彩虹表的前身--预先计算的散列链
既然存储所有的明文密码对需要的空间太大，密码学家们想出了一种以计算时间降低存储空间的办法：“预计算的哈希链集”（Precomputed hash chains）。
这是一条k=2哈希链：
哈希链
H函数就是要破解的哈希函数。
约简函数（reduction function）R函数是构建这条链的时候定义的一个函数：它的值域和定义域与H函数相反。通过该函数可以将哈希值约简为一个与原文相同格式的值。
这条链是这样生成的：
- 随机选择一个明文aaaaaa
- 对其求哈希得到281DAF40
- R(281DAF40) 得到另外一个明文sgfnyd。
- 继续重复2,3步骤
存储的时候，不需要存储所有的节点，只需要存储每条链的头尾节点（这里是aaaaaa和kiebgt）
以大量的随机明文作为起节点，通过上述步骤计算出哈希链并将终节点进行储存，可得到一张哈希链集。
预计算的哈希链集的使用
要破解一个hash值，
- 假设其刚好是920ECF10：首先对其进行一次R运算，得到kiebgt，然后发现刚好命中了哈希链集中的（aaaaaa,kiebgt）链条。可以确定其极大概率在这个链条中。于是从aaaaaa开始重复哈希链的计算过程，发现sgfnyd的哈希结果刚好是920ECF10,于是破解成功。
- 密文不是“920ECF10”而是“281DAF40”：第一次R运算后的结果并未在末节点中找到，则再重复一次H运算+R运算，这时又得到了末节点中的值“kiebgt”。于是再从头开始运算，可知aaaaaa刚好可哈希值为281DAF40。
- 如是重复了k（=2）次之后，仍然没有在末节点中找到对应的值，则破解失败。
预计算的哈希链集的意义
对于一个长度为k的预计算的哈希链集，每次破解计算次数不超过k，因此比暴力破解大大节约时间。
每条链只保存起节点和末节点，储存空间只需约1/k，因而大大节约了空间。
R函数的问题
要发挥预计算的哈希链集的左右，需要一个分布均匀的R函数。当出现碰撞时，就会出现下面这种情况
111 --H--> EDEDED --R--> 222 --H--> FEDEFE --R--> 333 --H--> FEFEDC --R--> 444
454 --H--> FEDECE --R--> 333 --H--> FEFEDC --R--> 444 -H--> FEGEDC --R--> 555
两条链出现了重叠。这两条哈希链能解密的明文数量就远小于理论上的明文数2×k。由于集合只保存链条的首末节点，因此这样的重复链条并不能被迅速地发现。
彩虹表
彩虹表的出现，针对性的解决了R函数导致的链重叠问题：
它在各步的运算中，并不使用统一的R函数，而是分别使用R1…Rk共k个不同的R函数（下划线表示下标）。
彩虹表
这样一来，及时发生碰撞，通常会是下面的情况：
111 --H--> EDEDED --R1--> 222 --H--> FEDEFE --R2--> 333 --H--> FEFEDC --R3--> 444
454 --H--> FEDECE --R1--> 333 --H--> FEFEDC --R2--> 474 -H--> FERFDC --R3--> 909
即使在极端情况下，两个链条同一序列位置上发生碰撞，导致后续链条完全一致，这样的链条也会因为末节点相同而检测出来，可以丢弃其中一条而不浪费存储空间。
彩虹表的使用
彩虹表的使用比哈希链集稍微麻烦一些。
- 首先，假设要破解的密文位于某一链条的k-1位置处，对其进行Rk运算，看是否能够在末节点中找到对应的值。如果找到，则可以如前所述，使用起节点验证其正确性。
- 否则，继续假设密文位于k-2位置处，这时就需要进行Rk-1、H、Rk两步运算，然后在末节点中查找结果。
- 如是反复，最不利条件下需要将密文进行完整的R1、H、…Rk运算后，才能得知密文是否存在于彩虹表之中。
彩虹表中时间、空间的平衡
对于哈希链集，最大计算次数为k，平均计算次数为k/2
彩虹表的最大计算次数为1+2+3+……k = k(k-1)/2，平均计算次数为[(k+2) * (k +1)]/6。
可见，要解相同个数的明文，彩虹表的代价会高于哈希链集。
无论哈希链集还是彩虹表：
当k越大时，破解时间就越长，但彩虹表所占用的空间就越小；
相反，k越小时，彩虹表本身就越大，相应的破解时间就越短。
常见的彩虹表和R函数举例
1）常见的彩虹表：http://project-rainbowcrack.com/table.htm
2）R函数举例：假设明文为5位数字，则R函数是取哈希值中前5个数字。参见https://crypto.stackexchange.com/questions/5900/example-rainbow-table-generation
为什么加盐哈希可以抵御彩虹表
彩虹表在生成的过程中，针对的是特定的函数H，H如果发生了改变，则已有的彩虹表数据就完全无法使用。
如果每个用户都用一个不同的盐值，那么每个用户的H函数都不同，则必须要为每个用户都生成一个不同的彩虹表。大大提高了破解难度。
