摘要：
scrapy中有个自带的pipeline工具，ImagesPipeline，可以专门用来储存图片到本地。 但默认储存地址无法配置，所以我们需要写一个自己的pipeline用于储存图片。 先分析一下我们的需求： 1.修改图片路径，路径根据采集到的item中的数据变化； 2.将数据库中保存图片的url更 阅读全文
摘要：
https://www.jianshu.com/p/d1bb28cbb6a8 scrapy中负责下载文件的是class MyFilesPipeline(FilesPipeline)类 其中负责下载文件的方法是 我们可以很清楚地看到 因为是下载的是文件，所以默认的response参数是为None的,因 阅读全文
摘要：
hashlib.sha1(to_bytes(url)).hexdigest() hashlib.sha1(to_bytes(url)).hexdigest() MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM 阅读全文
摘要：
官方的： https://doc.scrapy.org/en/latest/topics/media-pipeline.html?highlight=item_complete#scrapy.pipelines.images.ImagesPipeline.item_completed https:/ 阅读全文
摘要：
需求分析需求：爬取斗鱼主播图片，并下载到本地 思路： 使用Fiddler抓包工具，抓取斗鱼手机APP中的接口使用Scrapy框架的ImagesPipeline实现图片下载ImagesPipeline实现图片下载的使用方法: 在items中的XxxItem中定义 image_urls 和 images 阅读全文
摘要：
1 # coding:utf-8 2 3 class TidyText(object): 4 def __init__(self,string='',begin='',last=''): 5 super(TidyText,self).__init__() 6 self.result=string 7 self.... 阅读全文