scrapy框架第二天
1.scrapy数据分析
2.scrapy持久化存储
3.全站数据爬取
4.请求传参 + 五大核心组件
- 创建scrapy工程 scrapy startproject ProName - 切换到工程目录下 cd ProName - 创建spider文件夹 scrapy genspider SpiderName www.xxx.com
-settings里面的一些设置
- LOG_LEVEL = 'ERROR'
- USER_AGENT='JHJAJHHJKAFHJFHJ'
- ROBOTSTXT_OBEY = False
-运行spider scrapy crawl SpiderName
- scrapy的数据解析
- 在scrapy中使用xpath解析标签中的文本内容或者标签属性的话,最终获取的是一个Selector的对象,且我们需要的字符串数据全部被封装在了该对象中
- 如果可以确定xpath返回的列表只有一个列表元素则使用extract_first(),否则使用extract()
- scrapy的持久化存储
- 基于终端指令:
- 可以将parse方法的返回值对应的数据进行本地磁盘文件的持久化存储
- scrapy crawl SpiderName -o filePath
- 优点:便捷
- 缺点:局限性较强(数据不可以存储到数据库,数据存储文件的后缀有要求)
- 基于管道:
-编码流程:
- 1.数据解析
- 2.在item类中进行相关属性的封装
- 3.实例化一个item类型的对象
- 4.将解析的数据存储封装到item类型的对象中
- 5.将item提交给管道
- 6.在配置文件中开启管道
- 注意事项:
- 爬虫文件提交的item只会传递给第一个被执行的管道类
- 在管道类的process_item方法中的return item,是将item传递给下一个即将被执行的管道类
- 习惯:每一个process_item中都需要编写return item
爬取糗百数据一:
1.存放在start_urls中的url会被scrapy自动的进行请求发送
2. def parse(self, response): 这个函数下面操作代码的数据解析
3.response.xpath() scrapy用来定位标签的xpath,用法和etree的xpath差不多,但是response.xpath是scrapy自己封装的
4.scrapy的数据解析
- 在scrapy中使用xpath解析标签中的文本内容或者标签属性的话,最终获取的是一个Selector的对象,且我们需要的字符串数据全部被封装在了该对象中
- 如果可以确定xpath返回的列表只有一个列表元素则使用extract_first(),否则使用extract()
5.运行之前,settings里面的一些参数需要设置
# -*- coding: utf-8 -*- import scrapy from qiubaiPro.items import QiubaiproItem class QiubaiSpider(scrapy.Spider): name = 'qiubai' #允许的域名,一般注释掉 # allowed_domains = ['www.xxx.com'] # 存放在该列表中的url都会被scrapy自动的进行请求发送 start_urls = ['https://www.qiushibaike.com/text/'] # 基于终端指令的持久化存储:可以将parse方法的返回值对应的数据进行本地磁盘文件的持久化存储 def parse(self, response): all_data = [] #数据解析response.xpath:作者and段子内容 div_list = response.xpath('//div[@id="content-left"]/div') for div in div_list: #在scrapy中使用xpath解析标签中的文本内容的话,最终获取的是一个Selector的对象,且我们需要的字符串数据全部被封装在了该对象中 #如果可以确定xpath返回的列表只有一个列表元素则使用extract_first(),否则使用extract() author = div.xpath('./div[1]/a[2]/h2/text()').extract_first() content = div.xpath('./a/div/span/text()').extract() dic = { 'author':author, 'content':content } all_data.append(dic) # print(author,content) return all_data
scrapy基于终端指令的持久化存储
scrap基于管道的持久化存储
1.开启管道settings设置里面 需要手动打开管道
ITEM_PIPELINES = { 'qiubaiPro.pipelines.QiubaiproPipeline': 300, # 'qiubaiPro.pipelines.mysqlPileLine': 301, 'qiubaiPro.pipelines.redisPileLine': 302, #300表示的是优先级,数值越小优先级越高 }
2.
- 爬虫文件中获取文件信息
- 创建一个item的类对象 item = QiubaiproItem()
- 将解析数据存储到item对象中 item['author'] = author
- 将item提交给管道类 yield item
# -*- coding: utf-8 -*- import scrapy from qiubaiPro.items import QiubaiproItem class QiubaiSpider(scrapy.Spider): name = 'qiubai' # allowed_domains = ['www.xxx.com'] # 存放在该列表中的url都会被scrapy自动的进行请求发送 start_urls = ['https://www.qiushibaike.com/text/'] #基于管道实现持久化存储 def parse(self, response): all_data = [] #数据解析:作者and段子内容 div_list = response.xpath('//div[@id="content-left"]/div') for div in div_list: #在scrapy中使用xpath解析标签中的文本内容的话,最终获取的是一个Selector的对象,且我们需要的字符串数据全部被封装在了该对象中 #如果可以确定xpath返回的列表只有一个列表元素则使用extract_first(),否则使用extract() author = div.xpath('./div[1]/a[2]/h2/text()').extract_first() if not author: author = '匿名用户' content = div.xpath('./a/div/span/text()').extract() content = ''.join(content) #创建一个item类型的对象(只可以存储一组解析的数据) item = QiubaiproItem() #将解析到的数据存储到item对象中 item['author'] = author item['content'] = content #将item提交给管道类 yield item
3.管道pipelines.py的介绍
- 管道类里面使用数据库对爬取的文件进行存储
# -*- coding: utf-8 -*- # # Define your item pipelines here # # Don't forget to add your pipeline to the ITEM_PIPELINES setting # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html import pymysql from redis import Redis # 一个管道类对应一种平台的数据存储 class QiubaiproPipeline(object): fp = None #重写父类的方法:只在开始爬虫的时候被执行一次 def open_spider(self,spider): print('开始爬虫......') self.fp = open('./qiubai.txt','w',encoding='utf-8') #处理item类型的对象 #什么是处理? #将封装在item对象中的数据值提取出来且进行持久化存储 #参数item表示的就是爬虫文件提交过来的item对象 #该方法每接收一个item就会被调用一次 def process_item(self, item, spider): print('this is process_item()') author = item['author'] content = item['content'] self.fp.write(author+':'+content+"\n") #返回的item就会传递给下一个即将被执行的管道类 return item def close_spider(self,spider): print('结束爬虫!') self.fp.close() #将数据同时存储到mysql class mysqlPileLine(object): conn = None cursor = None def open_spider(self,spider): self.conn = pymysql.Connect(host='127.0.0.1',port=3306,db='spider',user='root',password='',charset='utf8') print(self.conn) def process_item(self,item,spider): sql = 'insert into qiubai values ("%s","%s")'%(item['author'],item['content']) #创建一个游标对象 self.cursor = self.conn.cursor() try: self.cursor.execute(sql) self.conn.commit() except Exception as e: print(e) self.conn.rollback() return item def close_spider(self,spider): self.cursor.close() self.conn.close() #数据存储到redis中 class redisPileLine(object): conn = None def open_spider(self,spider): self.conn = Redis(host='127.0.0.1',port=6379) def process_item(self,item,spider): dic = { 'author':item['author'], 'content':item['content'] } self.conn.lpush('qiubaiData',dic)
4.item.py的介绍
- item.py文件中定义item类型的属性
import scrapy class QiubaiproItem(scrapy.Item): # define the fields for your item here like: author = scrapy.Field() content = scrapy.Field()
