小爬爬6.scrapy回顾和手动请求发送
1.数据结构回顾
#栈
def push(self,item)
def pop(self)
#队列
def enqueue(self,item)
def dequeue(self)
#列表
def add(self,item)
2.回顾scrapy
- 创建工程：scrapy startproject ProName - 创建爬虫文件 - cd ProName - scrapy genspider spiderName www.xxx.com - 爬虫类的相关属性和方法 - 爬虫文件的名称:name #这里不能重复 - 起始的url列表：start_urls，存储的url会被scrapy进行自动的请求发送 - parse(reponse)：用来解析start_urls列表中url对应的响应数据,会被调用多次 - response.xpath() ==> [selector,selector] - extract() - 数据持久化存储 - 基于终端指令： - 只可以将parse方法的返回值进行持久化存储 - scrapy crawl SpiderName -o ./file - 基于管道持久化存储的编码流程：重点 - 数据解析 - 在item类中声明相关的属性用于存储解析到的数据 - 将解析到的数据存储封装到item类型的对象中 - 将item对象提交给管道类 - item会被管道类中的process_item方法中的item参数进行接收 - process_item方法中编写基于item持久化存储的操作 - 在配置文件中开启管道 - 管道细节处理： - 管道文件中一个类对应的是什么？ - 一个类表示的是将解析到的数据存储到某一个具体的平台数据库或txt中 - process_item方法中的返回值表示什么含义？ - return item就是说将item传递给下一个即将被执行的管道类 - open_spider，close_spider
3.手动请求发送
阳光热点问政平台:http://wz.sun0769.com/index.php/question/questionType?type=4
我们不能将每个url都放在start_urls中
如何和实现全站数据的爬取?定位到某个板块将所有的数据都爬取到
起始页码:http://wz.sun0769.com/index.php/question/questionType?type=4&page=
下面我们新建一个工程:
走到day6里边,创建一个工程,走到工程内容,下面我们创建一个爬虫文件
下面我们需要settings进行伪装和robot修改
下面打开爬虫文件:注释 allowed_domains
写入起始url,下面解析数据当前页码数据
下面,我们进行解析,在parse函数中
复制第二个xpath作为解析url,再加上一个tr
下面,我们拿一下标题
下面我们再items写我们需要存储的字段:
导入包:
sun.py爬虫文件
# -*- coding: utf-8 -*- import scrapy from sunLinePro.items import SunlineproItem class SunSpider(scrapy.Spider): name = 'sun' # allowed_domains = ['www.xxx.com'] start_urls = ['http://wz.sun0769.com/index.php/question/questionType?type=4&page='] def parse(self, response): tr_list=response.xpath('//*[@id="morelist"]/div/table[2]/tbody/tr/td/table/tbody/tr') for tr in tr_list:#解析下面两个数据 title=tr.xpath('./td[2]/a[2]/text()').extract_first() status=tr.xpath('./td[3]/span/text()').extract_first() item=SunlineproItem() item['title']=title item['status']=status yield item #提交的操作在循环的里边
每提交一次,pipelines.py文件里边的process_item函数就会执行一次
下面,我们再settings.py的配置文件中打开管道:
下面,看一下能不能解析出首页的内容.
现在配置文件中写log_error,只有错误的时候打印
没有错误,也就是没有解析到数据,因此我们需要修改xpath,存在问题的形式tbody
下面是修改之后的内容
执行爬虫文件,也就是这个工程
这个时候,已经能够拿到数据了
我们现在拿到的是当前页中的内容.
我们看一下第二页和第三页中的url
http://wz.sun0769.com/index.php/question/questionType?type=4&page=30
http://wz.sun0769.com/index.php/question/questionType?type=4&page=60
我们看到了这个文件中后边的参数发生了改变
sun.py文件
# -*- coding: utf-8 -*- import scrapy from sunLinePro.items import SunlineproItem class SunSpider(scrapy.Spider): name = 'sun' # allowed_domains = ['www.xxx.com'] start_urls = ['http://wz.sun0769.com/index.php/question/questionType?type=4&page='] #通用的url模板(不可以修改) url='http://wz.sun0769.com/index.php/question/questionType?type=4&page=%d' page=1 def parse(self, response): print(',,,,,,,,,,,,,,page=',self.page) #查看页面 tr_list=response.xpath('//*[@id="morelist"]/div/table[2]//tr/td/table//tr') for tr in tr_list:#解析下面两个数据 title=tr.xpath('./td[2]/a[2]/text()').extract_first() status=tr.xpath('./td[3]/span/text()').extract_first() item=SunlineproItem() item['title']=title item['status']=status yield item #提交的操作在循环的里边 if self.page<5: #手动对指定的url进行请求发送 count=self.page*30 new_url=format(self.url%count) self.page+=1 yield scrapy.Request(url=new_url,callback=self.parse) #url和结束递归条件
下面,我们对文件进行处理,执行下面的命令
成功打印到了第五页
全栈数据的爬取我们可以进行手动进行数据的发送
总结全站数据的爬取:
全站数据的爬取 - 手动请求发送： - yield scrapy.Request(url,callback):callback回调一个函数用于数据解析
4.get请求,我们怎样用post请求?在scrapy可以用post,但是一般不用,原因比较麻烦
如何进行post请求的发送和如何进行cookie的处理 - post请求的发送: - 重写父类的start_requests(self)方法 - 在该方法内部只需要调用yield scrapy.FormRequest(url,callback,formdata) - cookie处理：scrapy默认情况下会自动进行cookie处理
新建一个项目
新建一个爬虫文件
在配置文件进行修改ua,robot和log_level
我们得到上边的url
我们看一下这个方法怎样实现?start_requests()
父类方法:就是将start_urls中del列表元素进行get请求的发送
上边是get请求的父类方法,现在我们进行改写
上图是请求的数据
postDemo.py文件
# -*- coding: utf-8 -*-
import scrapy
class PostdemoSpider(scrapy.Spider):
name = 'postDemo'
# allowed_domains = ['www.xxx.com']
#https://fanyi.baidu.com/sug
start_urls = ['https://fanyi.baidu.com/sug']
#父类方法:就是将start_urls中del列表元素进行get请求的发送
def start_requests(self): #get请求
for url in self.start_urls:
data={
'kw':'dog',
}
#post请求的手动发送使用的是FormRequest
yield scrapy.FormRequest(url=url,callback=self.parse,formdata=data)
def parse(self, response):
print(response.text)
运行之后,我们得到狗dog的数据
5.cookie默认是进行存储生效的在scrapy框架中
