python hashlib模块

算法介绍

Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等。

什么是摘要算法呢？摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。

摘要算法就是通过摘要函数f()对任意长度的数据data计算出固定长度的摘要digest，目的是为了发现原始数据是否被人篡改过。

摘要算法之所以能指出数据是否被篡改过，就是因为摘要函数是一个单向函数，计算f(data)很容易，但通过digest反推data却非常困难。而且，对原始数据做一个bit的修改，都会导致计算出的摘要完全不同。

 

我们以常见的摘要算法MD5为例，计算出一个字符串的MD5值：

import hashlib

md5 = hashlib.md5()
md5.update(b"how to use md5 in python hashlib?") # 字符串要转成bytes类型
print(md5.hexdigest()) # d26a53750bc40b38b65a520292f69306

如果数据量很大，可以分块多次调用update()，最后计算的结果是一样的：

import hashlib
md5 = hashlib.md5()
md5.update(b"how to use md5 in ")
md5.update('python hashlib?'.encode("utf-8")) # 两种方法都行,下面的更好
print(md5.hexdigest()) # d26a53750bc40b38b65a520292f69306

MD5是最常见的摘要算法，速度很快，生成结果是固定的128 bit字节，通常用一个32位的16进制字符串表示。另一种常见的摘要算法是SHA1，调用SHA1和调用MD5完全类似：

import hashlib

sha1 = hashlib.sha1()
sha1.update("how to use sha1 in ".encode("utf-8"))
sha1.update("python hashlib?".encode("utf-8"))

print(sha1.hexdigest()) # 2c76b57293ce30acef38d98f6046927161b46a44

SHA1的结果是160 bit字节，通常用一个40位的16进制字符串表示。比SHA1更安全的算法是SHA256和SHA512，不过越安全的算法越慢，而且摘要长度更长。

 

摘要算法应用

任何允许用户登录的网站都会存储用户登录的用户名和口令。如何存储用户名和口令呢？方法是存到数据库表中：

name    | password
--------+----------
michael | 123456
bob     | abc999
alice   | alice2008

如果以明文保存用户口令，如果数据库泄露，所有用户的口令就落入黑客的手里。此外，网站运维人员是可以访问数据库的，也就是能获取到所有用户的口令。正确的保存口令的方式是不存储用户的明文口令，而是存储用户口令的摘要，比如MD5：

username | password
---------+---------------------------------
michael  | e10adc3949ba59abbe56e057f20f883e
bob      | 878ef96e86145580c38c87f0410ad153
alice    | 99b1c2188db85afee403b1536010c2c9

考虑这么个情况，很多用户喜欢用123456，888888，password这些简单的口令，于是，黑客可以事先计算出这些常用口令的MD5值(一般叫 撞库)，得到一个反推表：

'e10adc3949ba59abbe56e057f20f883e': '123456'
'21218cca77804d2ba1922c33e0151105': '888888'
'5f4dcc3b5aa765d61d8327deb882cf99': 'password'

这样，无需破解，只需要对比数据库的MD5，黑客就获得了使用常用口令的用户账号。

对于用户来讲，当然不要使用过于简单的口令。但是，我们能否在程序设计上对简单口令加强保护呢？

加盐

由于常用口令的MD5值很容易被计算出来，所以，要确保存储的用户口令不是那些已经被计算出来的常用口令的MD5，这一方法通过对原始口令加一个复杂字符串来实现，俗称“加盐”：

import hashlib

def get_md5(s):
    md5_obj = hashlib.md5()
    md5_obj = hashlib.md5("盐".encode("utf-8"))
    ret = md5_obj.hexdigest()
    return ret
print(get_md5("888888")) # 983448e8f2d264c37778b5467dc62255

# 正常的"888888" # 21218cca77804d2ba1922c33e0151105

经过Salt处理的MD5口令，只要Salt不被黑客知道，即使用户输入简单口令，也很难通过MD5反推明文口令。

 

动态加盐

但是如果有两个用户都使用了相同的简单口令比如123456，在数据库中，将存储两条相同的MD5值，这说明这两个用户的口令是一样的。有没有办法让使用相同口令的用户存储不同的MD5呢？

如果假定用户无法修改登录名，就可以通过把登录名作为Salt的一部分来计算MD5，从而实现相同口令的用户也存储不同的MD5。

import hashlib
def get_md5(user,s): # 传入用户名和密码
    md5_obj = hashlib.md5(user.encode("utf-8"))
    md5_obj.update(s.encode("utf-8"))
    ret = md5_obj.hexdigest()
    return ret
print(get_md5("zhangsan","888888")) # c6f33191d7c0d81681b44f18c587dbe1

 

总结:

1,hashlib内部有算法的模块,而且不止一种模块

2,由于数据的不安全性，为了保证用户的信息绝对的安全，所以所有人的密码都不能以
明文的形式存储，而应该经过适当的处理以密文的形式存起来。

3,这个算法不可逆
不同的字符串通过这个算法的计算得到的密文总是不同的
相同的算法 相同的字符串 获得的结果总是相同的

4, md5算法 ：32位16进制的数字字符组成的字符串
         应用最广大的摘要算法
         效率高，相对不复杂，如果只是传统摘要不安全
     sha算法 ：40位的16进制的数字字符组成的字符串
        sha算法要比md5算法更复杂
        且shan n的数字越大算法越复杂，耗时越久，结果越长，越安全
5,登录验证
    两种算法 md5，sha
    常规验证 - 撞库
    加盐 - 固定的盐 会导致恶意注册的用户密码泄露
    动态加盐 - 每个用户都有一个固定的并且互不相同的盐

 

 

铺垫知识:

文件的一致性校验

给一个文件中的所有内容进行摘要算法得到一个md5的结果

如果结果相同,说明文件内容一样,反之,说明丢帧了

import os
import hashlib

def get_file_md5(file_path,buffer = 1024): # duffer默认一次传1024个字节
    md5_obj = hashlib.md5()
    file_size = os.path.getsize(file_path)
    with open(file_path,"rb") as f:
        while file_size: # 文件为空,则退出循环
            content = f.read(buffer)
            file_size -= len(content)
            md5_obj.update(content)
    return md5_obj.hexdigset()
print(get_file_md5(r"要传的文件,也可以是视频"))