第1种，太麻烦，不常用
第2种，当1亿条url时，占用内存过大，达9G
第3种，是第2种的优化，scrapy 用的即是第3种方法，可成倍减少内存占用，且不会重复
第4种，会大幅节省内存，1亿条url，占用空间：12M。但会出现冲突，把多个url算到一个位上去
第5种，是对4条的优化，减少冲突
