Scrapy 框架
1. 基本使用
1.1 定义及安装
- 为了爬取网站数据，提取结构性数据而编写的应用框架
- scrapy组件工作流程
引擎首先会将爬虫文件中的起始url获取，并且提交到调度器中。如果需要从url中下载数据，则调度器会将url通过引擎提交给下载器，
下载器根据url去下载指定内容（响应体）。下载好的数据会通过引擎移交给爬虫文件，爬虫文件可以将下载的数据进行指定格式的解析。
如果解析出的数据需要进行持久化存储，则爬虫文件会将解析好的数据通过引擎移交给管道进行持久化存储
- 安装
Linux：
pip3 install scrapy
Windows：
a. pip3 install wheel
b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
c. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl
d. pip3 install pywin32
e. pip3 install scrapy
1.2 项目创建
1、创建项目：scrapy startproject 项目名称
2、目录文件功能
scrapy.cfg 项目的主配置信息。（真正爬虫相关的配置信息在settings.py文件中）
items.py 设置数据存储模板，用于结构化数据，如：Django的Model
pipelines 数据持久化处理
settings.py 配置文件，如：递归的层数、并发数，延迟下载等
middlewares 中间件设置
spiders 爬虫目录，如：创建文件，编写爬虫解析规则
3、创建爬虫应用程序
(1)cd project_name（进入项目目录）
(2)scrapy genspider 应用名称 爬取网页的起始url （例如：scrapy genspider qiubai www.qiushibaike.com)
自动生成py文件：
import scrapy
class FirsttestSpider(scrapy.Spider):#爬虫类是基于Spider这个父类
name = 'firstTest' #爬虫文件的名称
#允许的域名：
#allowed_domains = ['www.qiushibaike.com']
#起始url列表：当前的爬虫文件可以从该列表中存储的url中爬取数据
start_urls = ['https://www.qiushibaike.com/text/']
#继承与父类的方法：用于解析请求到的页面数据
def parse(self, response):
print('haha this is hehe')
print(response)
#xpath函数的返回值是Selector对象（使用xpath表达式解析出来的内容是被存储在了Selecotr对象中）
#title = response.xpath('//*[@id="qiushi_tag_121076506"]/div[1]/a[2]/h2/text()')[0].extract()
#extract系列函数的作用是将Selector中的文本数据取出。
#Selector对象可以直接调用xpath函数。
title = response.xpath('//*[@id="qiushi_tag_121056271"]/div[1]/a[2]/h2/text()').extract_first()
title = response.xpath('//*[@id="qiushi_tag_121056271"]/div[1]/a[2]/h2/text()')[0]
print(title)
(3)scrapy crawl 应用名称 #执行程序
4、基本配置
settings文件：
(1)伪装请求载体身份
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
(2)忽略robots协议
ROBOTSTXT_OBEY = False
(3)开启管道(后面数字指定优先级)
ITEM_PIPELINES = {
'firstBlood.pipelines.FirstbloodPipeline': 300,
}
(4)使用代理ip时中间件设置
SPIDER_MIDDLEWARES = {
'firstBlood.middlewares.FirstbloodSpiderMiddleware': 543,
}
# 把默认的该成自己定义的类名 ：FirstbloodSpiderMiddleware 改成 MyDaili
----------------------------------
注：在middlewares文件写入：
class MyDaili(object):
def process_request(self,request,spider):
#在该方法中设置代理ip
request.meta['proxy']='http://120.76.231.27:3128'
1.3 爬取糗百作者和标题(get请求)
spiders文件夹(qiutu.py)：
import scrapy
from qiubai_all.items import QiubaiAllItem
class QiutuSpider(scrapy.Spider):
name = 'qiutu'
#allowed_domains = ['www.qiushibaike.com/pic/']
start_urls = ['http://www.qiushibaike.com/pic/']
#指定一个页码通用的url
url = 'https://www.qiushibaike.com/pic/page/%d/?s=5127014'
pageNum = 1 #控制页码
def parse(self, response):
div_list = response.xpath('//*[@id="content-left"]/div')
for div in div_list:
item = QiubaiAllItem() #创建item对象
#使用管道进行持久化存储的流程：
#1.使用爬虫文件获得解析到的数据
#2.将解析到的数据封装存储到items对象中
#3.将封装好的items对象提交给管道文件
#4.在管道文件中编写持久化存储的代码
#5.在settings中开启管道
item['author']=div.xpath('.//h2/text()').extract_first()
item['content']=div.xpath('.//div[@class="content"]/span/text()').extract_first()
yield item
#想要对应不同页码的url发起请求
if self.pageNum <= 35:
self.pageNum += 1 #从第二页发起请求
print('开始爬取第%d页的数据'%self.pageNum)
new_url = format(self.url%self.pageNum) #是新页码的url
#发起请求
#url:请求的url
#callback：回调函数（指定解析数据的规则）
yield scrapy.Request(url=new_url,callback=self.parse)
items文件：
import scrapy
class QiubaiAllItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
author = scrapy.Field()
content = scrapy.Field()
pipelines文件：
class QiubaiAllPipeline(object):
def __init__(self):
self.fp = None
def open_spider(self,spider):
print('开始爬虫')
self.fp = open('./data.txt','w',encoding='utf-8')
def process_item(self, item, spider):
#1.获取item中的数据
self.fp.write(item['author']+':'+item['content']+'\n\n')
return item
def close_spider(self,spider):
print('爬虫结束')
self.fp.close()
1.4 校花网图片链接及图片名爬取
spiders文件：
import scrapy
from xiaohuaPro.items import XiaohuaproItem
class XiaohuaSpider(scrapy.Spider):
name = 'xiaohua'
#allowed_domains = ['www.521609.com/daxuemeinv']
start_urls = ['http://www.521609.com/daxuemeinv/']
url = 'http://www.521609.com/daxuemeinv/list8%d.html'
page_num = 1
def parse(self, response):
li_list = response.xpath('//*[@id="content"]/div[2]/div[2]/ul/li')
for li in li_list:
item = XiaohuaproItem()
item['img_url'] = li.xpath('./a/img/@src').extract_first()
#拼接图片下载的url
item['img_url'] = 'http://www.521609.com'+item['img_url']
item['img_name'] = li.xpath('./a/img/@alt').extract_first()
yield item
if self.page_num <= 23:
self.page_num += 1
url = format(self.url%self.page_num)
yield scrapy.Request(url=url,callback=self.parse)
items文件：
import scrapy
class XiaohuaproItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
img_url = scrapy.Field()
img_name = scrapy.Field()
pipelines文件：
import json
import urllib.request
import os
class XiaohuaproPipeline(object):
def __init__(self):
self.fp = None
def open_spider(self,spider):
print('开始爬虫')
self.fp = open('./data.json','w',encoding='utf-8')
def process_item(self, item, spider):
img_dic = {
'img_url':item['img_url'],
'img_name':item['img_name']
}
#json.dumps 序列化时对中文默认使用的ascii编码.想输出真正的中文需要指定ensure_ascii=False
json_string = json.dumps(img_dic,ensure_ascii=False)
self.fp.write(json_string)
#下载图片操作
if not os.path.exists('xiaohua'):
os.mkdir('xiaohua')
filePath='xiaohua/'+item['img_name']+'.png'
urllib.request.urlretrieve(url=item['img_url'],filename=filePath)
print(filePath+ ':下载成功')
return item
def close_spider(self,spider):
self.fp.close()
print('爬虫结束')
#urlretrieve(url, filename=None, reporthook=None, data=None) 有四个参数
#前两个是下载的地址和保存的路径
#'参数 reporthook 是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调，我们可以利用这个回调函数来显示当前的下载进度。' \
# '参数 data 指 post 到服务器的数据，该方法返回一个包含两个元素的(filename, headers)元组，filename 表示保存到本地的路径，header 表示服务器的响应头。'
1.5 百度翻译post请求案例
spiders文件：
import scrapy
class PostdemoSpider(scrapy.Spider):
name = 'postDemo'
allowed_domains = ['https://fanyi.baidu.com/sug']
#start_urls = ['http://https://fanyi.baidu.com/sug/']
#该方法就是对start_urls列表中的url发起请求
#def start_requests(self): #父类对该方法的默认实现
#for url in self.start_urls:
#yield scrapy.Request(url=url,callback=parse)
#重写父类的start_requests方法：该方法默认发起的是get请求
def start_requests(self):
post_url = 'https://fanyi.baidu.com/sug/'
data = {
'kw':'dog'
}
#FormRequest该函数用来发起post请求
#Request使用用来发起get请求
yield scrapy.FormRequest(url=post_url,formdata=data,callback=self.parse)
def parse(self, response):
print(response.text)
pipeline文件：
class PostproPipeline(object):
def process_item(self, item, spider):
return item
1.6 获取二级子页面内容(请求传参)
import scrapy
from moviePro.items import MovieproItem
class MovieSpider(scrapy.Spider):
name = 'movie'
#allowed_domains = ['www.id97.com']
start_urls = ['http://www.id97.com/']
#该方法是用来指定二级子页面的解析规则
def secondPageParse(self,response):
#接收Request函数传递过来的参数（meta对应字典的key值），此时得到的item对象即使parse函数中的item= MovieproItem()
# 再去item文件中加上二级子页面的两个属性（actor，show_time）
item = response.meta['item']
item['actor'] = response.xpath('/html/body/div[1]/div/div/div[1]/div[1]/div[2]/table/tbody/tr[1]/td[2]/a/text()').extract_first()
item['show_time'] = response.xpath('/html/body/div[1]/div/div/div[1]/div[1]/div[2]/table/tbody/tr[7]/td[2]/text()').extract_first()
#将item提交给管道
yield item
def parse(self, response):
div_list = response.xpath('/html/body/div[1]/div[2]/div[1]/div/div')
for div in div_list:
item = MovieproItem()
item['name'] = div.xpath('./div/div[@class="meta"]//a/text()').extract_first()
item['kind'] = div.xpath('./div/div[@class="meta"]/div[@class="otherinfo"]//text()').extract()
item['kind'] = ''.join(item['kind'])
item['url'] = div.xpath('./div/div[@class="meta"]//a/@href').extract_first()
#meta={'item':item} 该参数是用来给回调函数进行传值，指定字典的形式，通过key 传多个值
yield scrapy.Request(url=item['url'],callback=self.secondPageParse,meta={'item':item})