09 2022 档案
摘要：'''1.创建logger对象2,将日志写到什么地方去 (控制台,文件)如果写到文件中,需要指明一下写入的文件3,设置日志输出格式python logging (方法)格式:LOG_FOEMAT= '%(asctime)s [%(name)s] %(lovelname)s: %(message)s'
阅读全文
摘要：'''安装进程管理工具pip install scrapyd 服务器pip install sctapyd-clinet 客户端启动服务器在命令行启动scrapyd启动爬虫curl http://localhost:6800/schedule.json -d project=zh -d spider
阅读全文
摘要：'''主要起到链接redis数据库的功能connetction.py class RFPDupeFilter(BaseDupeFilter)常亮值defaults.py主要用来对request请求去重的一个类dupefliter.py def request_seen(self, request):
阅读全文
摘要：'''概述: 更好的利用多线程.从而提高利用率,可以方便的管理线程,也可以减少内存的消耗线程池: 线程池,通过有限的几个固定线程为大量的操作服务,减少了创建和销毁线程所需的时间,从而提高效率. 如果一个线程的时间非常长,就没必要用线程池(不是不能作长时间操作,而是不宜),况且我们还不能 控制线程池中
阅读全文
摘要：pillow运用需要安装pillow 图像处理库 pip install pillow在使用lmagesPipeline下载图片数据时,我们需要对其中的三个管道类方法进行重写get_medla_requests 根据图片地址,进行图片数据请求 def get_media_requests(self,
阅读全文
