longwanghzx

摘要： '''1.创建logger对象2,将日志写到什么地方去 (控制台,文件)如果写到文件中,需要指明一下写入的文件3,设置日志输出格式python logging (方法)格式:LOG_FOEMAT= '%(asctime)s [%(name)s] %(lovelname)s: %(message)s' 阅读全文

摘要： '''安装进程管理工具pip install scrapyd 服务器pip install sctapyd-clinet 客户端启动服务器在命令行启动scrapyd启动爬虫curl http://localhost:6800/schedule.json -d project=zh -d spider 阅读全文

摘要： '''主要起到链接redis数据库的功能connetction.py class RFPDupeFilter(BaseDupeFilter)常亮值defaults.py主要用来对request请求去重的一个类dupefliter.py def request_seen(self, request): 阅读全文

摘要： '''概述: 更好的利用多线程.从而提高利用率,可以方便的管理线程,也可以减少内存的消耗线程池: 线程池,通过有限的几个固定线程为大量的操作服务,减少了创建和销毁线程所需的时间,从而提高效率. 如果一个线程的时间非常长,就没必要用线程池(不是不能作长时间操作,而是不宜),况且我们还不能 控制线程池中 阅读全文

摘要： pillow运用需要安装pillow 图像处理库 pip install pillow在使用lmagesPipeline下载图片数据时,我们需要对其中的三个管道类方法进行重写get_medla_requests 根据图片地址,进行图片数据请求 def get_media_requests(self, 阅读全文

摘要： # 导入一个请求的模块import jsonimport timefrom concurrent.futures.thread import ThreadPoolExecutorfrom urllib.parse import urlencodeimport requests# 图片的名字num = 阅读全文

摘要： import reimport requestsurl = 'https://b.faloo.com/1183478 1.html'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537. 阅读全文

摘要： import redis# 链接redis host,port,db# 建立链接con = redis.StrictRedis( host='127.0.0.1', port=6379, db=4, # 默认使用的是0号 decode_responses=True)# string类型# con.s 阅读全文

摘要： '''scrapy简介​ Scrapy是由Python语言开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取 web站点并从页面中提取结构化的数据，只需要实现少量的代码，就能够快速的抓取。Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度twisted下载：https:// 阅读全文

摘要： '''## **认识selenium**​ **下载：pip install selenium**​ 官方文档：https://selenium-python.readthedocs.io/### 什么是selenium？​ selenium 是一套完整的web应用程序测试系统，包含了测试的录制（s 阅读全文