python实现scrapy爬取图片到本地时的sha1摘要算法文件名
2017-03-29
Scrapy爬图片到本地应该会给图片自动生成sha1摘要算法文件名,我第一次用scrapy也不清楚太多,就在程序里自己写了一段实现这一功能的代码。需import hashlib
# 存储所有图片链接image_urls item["image_urls"] = ['http://www.nosta.gov.cn/upload/2017slgb'+i.replace('..', '') for i in response.xpath('//img[@width="840px"]/@src').extract()] # 存储所有图片本地地址和图片名(列表中存存字典)images s = hashlib.sha1() item["images"] = [] for i in item["image_urls"]: dict1 = {} dict1["url"] = i s.update(i) dict1["path"] = s.hexdigest() + ".jpg" item["images"].append(dict2)
其实主要核心是下面这段
import hashlib sha1 = hashlib.sha1() sha1.update('自定义内容')print sha1.hexdigest()