使用 MD5 加密 去重对插入的影响

现在有3000条数据，需要插入到数据库中去，使用的是对链接进行MD5加密，

hashcode = md5(str(item_url))
然后在数据库中设置 hashcode 为UNIQUE索引

3000条数据全部插入完毕，耗时是32s


不使用MD5加密，耗时30秒。

结论：去重对时间影响不大