FNV算法实战

HASH算法介绍

• Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一地确定输入值。
• 数学表述为：h = H(M) ，其中H( )--单向散列函数，M--任意长度明文，h--固定长度散列值。

HASH算法的实际应用-加密

• 常见的哈希加密算法：MD5，SHA-1，SHA-2，SHA-256，SHA-X（系列）
• 1) 文件校验:MD5 Hash算法的“数字指纹”特性，使它成为目前应用最广泛的一种文件完整性校验和(Checksum)算法，不少Unix系统有提供计算md5 checksum的命令；
• 2) 数字签名：在这种签名协议中，双方必须事先协商好双方都支持的Hash函数和签名算法。签名方先对该数据文件进行计算其散列值，然后再对很短的散列值结果--如Md5是16个字节，SHA1是20字节，用非对称算法进行数字签名操作。对方在验证签名时，也是先对该数据文件进行计算其散列值，然后再用非对称算法验证数字签名； （实际是HASH+非对称加密）
• 3) 鉴权协议:需要鉴权的一方，向将被鉴权的一方发送随机串（“挑战”），被鉴权方将该随机串和自己的鉴权口令字一起进行 Hash 运算后，返还鉴权方，鉴权方将收到的Hash值与在己端用该随机串和对方的鉴权口令字进行 Hash 运算的结果相比较（“认证”），如相同，则可在统计上认为对方拥有该口令字，即通过鉴权。（摘要）
• HASH加密算法与其他加密算法的主要不同点是：哈希(Hash)算法是一种单向密码体制,即只有   加密过程,没有解密过程

HASH算法的实际应用-查找

• 常见的哈希查找算法：BKDRHash，APHash，DJBHash，JSHash，RSHash，SDBMHash等
• 1) 基本思想是：以数据对象的关键词 key 为自变量，通过一个确定的函数关系 $h$ ,计算出对应的函数值 $h(key)$ ，把这个值解释为数据对象的存储地址，并按此存放，即“$存储位置=h(key)$”。
• Gdb下函数符号实际对应的是一个内存地址，映射大小为32bit或64bit（即32位系统或64位系统）

FNV算法介绍

• FNV哈希算法全名为Fowler-Noll-Vo算法，是以三位发明人Glenn Fowler，Landon Curt Noll，Phong Vo的名字来命名的，最早在1991年提出
• 特点和用途：FNV能快速hash大量数据并保持较小的冲突率，它的高度分散使它适用于hash一些非常相近的字符串，比如URL，hostname，文件名，text，IP地址等。
• 适用范围：比较适用于字符串比较短的哈希场景

 　　FNV哈希算法有如下两种，FNV-1a相比FNV-1，散列分布更好。二者不同点为：for循环两行代码的顺序相反

　　哈希函数一般适用移位和乘除法来实现。哈希函数一般都比较精简，算法复杂度比较低。哈希函数的移位和乘除法可能会导致数据丢失，这也是哈希不可逆的原因

FNV算法说明-1

• hash值：一个n位的unsigned int型hash值，初始值为offset_basis.
• offset_basis：初始的哈希值，该值在最早的版本中是0，为了增强哈希的可靠性，后续修改为非0的值，通过如下算法获取

参见《生成offset_basis.py》

FNV算法说明-2

　　octet_of_data：8位数据（即一个字节）：即需要被哈希的字符串

　　FNV_prime：FNV用于散列的质数（质数在哈希算法中发挥着重要作用，在一般使用的哈希除留余数法中： H(key) = key MOD p，p也要求是一个质数（质数也称为素数））

• 32 bit FNV_prime = 224 + 28 + 0x93 = 16777619
• 64 bit FNV_prime = 240 + 28 + 0xb3 = 1099511628211
• 128 bit FNV_prime = 288 + 28 + 0x3b = 309485009821345068724781371
• 256 bit FNV_prime = 2168 + 28 + 0x63 = 374144419156711147060143317175368453031918731002211
• 512 bit FNV_prime = 2344 + 28 + 0x57 = 35835915874844867368919076489095108449946327955754392558399825615420669938882575126094039892345713852759

FNV算法使用

• 支持将字符串哈希为32/64/128/256/512/1024bit的数字
• 支持将字符串哈希为任意bit的数字，比如11/33bit
• 支持将字符串哈希为特定范围的数字，比如[0,99999]

将字符串哈希为32bit的数字

hash = offset_basis 

for each octet_of_data to be hashed

    hash = hash xor octet_of_data

    hash = hash * FNV_prime

return hash

　　参见《生成32位哈希.py》

将字符串哈希为特定范围的数字

将字符串哈希为[0,999]的数字
#define TRUE_HASH_SIZE ((u_int32_t)50000) /* range top plus 1 */
#define FNV_32_PRIME ((u_int32_t)16777619)
#define FNV1_32_INIT ((u_int32_t)2166136261)
#define MAX_32BIT ((u_int32_t)0xffffffff) /* largest 32 bit unsigned value */
#define RETRY_LEVEL ((MAX_32BIT / TRUE_HASH_SIZE) * TRUE_HASH_SIZE)
u_int32_t hash;
void *data;
size_t data_len;

hash = fnv_32_buf(data, data_len, FNV1_32_INIT);
while (hash >= RETRY_LEVEL) {
    hash = (hash * FNV_32_PRIME) + FNV1_32_INIT;
}
hash %= TRUE_HASH_SIZE;

参见《生成任意范围哈希.py》，代码附件链接

 

参考：

http://www.isthe.com/chongo/tech/comp/fnv/index.html#lazy-mod