Scrapy框架的基本使用
scrapy框架简介
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛
框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便
scrapy架构图
l crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。
l Scheduler(调度器): 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。
l Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理,
l Spider(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器),
l Item Pipeline(管道):它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方
l Downloader Middlewares(下载中间件):你可以当作是一个可以自定义扩展下载功能的组件。
l Spider Middlewares(Spider中间件):你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)
新建scrapy项目
1、创建爬虫项目,命令:scrapy startproject 项目名称
2、创建爬虫文件,命令:scrapy genspider 文件名称 域名
创建完成后会自动生成一些文件
目标网站分析需要提取的数据,在item.py文件中添加字段
Item 定义结构化数据字段,用来保存爬取到的数据,有点像Python中的dict,但是提供了一些额外的保护减少错误
基本案例:
使用scrapy框架爬取quote.xxx 网站, 爬取里面的所有text, author,tag信息, 并保存到Mongodb数据库中
步骤:
- 1. scrapy startproject quotetest 利用scrapy命令常见一个项目,名称是quotetest
- 2. scrapy genspider quote quotes.toscrape.com 进入cd quotetest 目录里面,创建文件名称是quote的,域名是最后的网址,起始爬虫的网址
- 3. 编辑爬虫的文件quote.py(是使用命令默认生成的)其中parse方法是一个回调方法,起始url请求成功后,会回调这个方法
class QuotesSpider(scrapy.Spider): name = 'quotes' allowed_domains = ['quotes.toscrape.com'] start_urls = ['http://quotes.toscrape.com/'] def parse(self, response): #用来解析爬取中的方法,默认的回调,来进行解析 # print(response.text) quotes = response.css('.quote') for quote in quotes: item = QuotetutorialItem() text = quote.css('.text::text').extract_first() author = quote.css('.author::text').extract_first() tags = quote.css('.tags .tag::text').extract() item['text'] = text item['author'] = author item['tags'] = tags yield item next = response.css('.pager .next a::attr(href)').extract_first() url = response.urljoin(next) #绝对的url yield scrapy.Request(url=url, callback=self.parse)
- 4. 配置item.py文件,Item 定义结构化数据字段,用来保存爬取到的数据,有点像Python中的dict,但是提供了一些额外的保护减少错误 ,在quote.py中的parse方法中有使用这个类,作为解析数据的
class QuotetutorialItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() #存储 text = scrapy.Field() author = scrapy.Field() tags = scrapy.Field()
- 5. 配置pipline.py中的类,它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方. 我们需要将text中的内容过长的数据进行截取 结尾使用‘…’来代替,方法如
class TextPipline(object): def __init__(self): self.limit = 50 def process_item(self, item, spider): if item['text']: if len(item['text']) > self.limit: item['text'] = item['text'][:self.limit].rstrip() + '...' return item else: return DropItem('Missing Text')
- 6. 配置pipline.py中的类,进行进行后期存储处理,将数据保存到mongodb中, 方法如下
class MongoPipline(object): def __init__(self, mongo_url, mongo_db): self.mongo_url = mongo_url self.mongo_db = mongo_db @classmethod def from_crawler(cls, crawler): #从setting里面拿到相应的配置信息 return cls( mongo_url=crawler.settings.get('MONGO_URL'), mongo_db = crawler.settings.get('MONGO_DB') ) def open_spider(self, spider): self.client = pymongo.MongoClient(self.mongo_url) self.db= self.client[self.mongo_db] def process_item(self, item, spider): name = item.__class__.__name__ self.db[name].insert(dict(item)) return item def close_spider(self, spider): self.client.close()
使用类方法,将配置文件中的变量配置到类中进行初始化 初始化mongodb类, 并使用方法process_item进行保存数据到mongodb中 ,最后执行关闭操作
注意settings文件中需要设置如下, 否则无法知道pipline的处理
Setttings文件中,设置好mongodb的配置
ITEM_PIPELINES = { 'quotetutorial.pipelines.TextPipline': 300, 'quotetutorial.pipelines.MongoPipline': 400, } MONGO_URL = 'localhost' MONGO_DB = 'quotertutors'
参考网址:https://www.jianshu.com/p/8e78dfa7c368
Scrapy中选择器的用法:
选择器的用法 这里介绍 3中 css xpath 还有 re
选择器的用法
https://docs.scrapy.org/en/latest/topics/selectors.html?highlight=using%20selectors#id1
scrapy shell https://docs.scrapy.org/en/latest/_static/selectors-sample1.html
#进入交互模式
网页的源代码是
<html> <head> <base href='http://example.com/' /> <title>Example website</title> </head> <body> <div id='images'> <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a> <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a> <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a> <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a> <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a> </div> </body> </html>
练习项(CSS):
- 查看title的内容
In [88]: response.css('title::text').extract_first()
Out[88]: 'Example website'
- 查看a标签下的内容
In [91]: response.css('a::text').extract()
Out[91]:
['Name: My image 1 ',
'Name: My image 2 ',
'Name: My image 3 ',
'Name: My image 4 ',
'Name: My image 5 ']
- 查看a标签下面img标签对应的属性src的内容
In [93]: response.css('a img::attr(src)').extract()
Out[93]:
['image1_thumb.jpg',
'image2_thumb.jpg',
'image3_thumb.jpg',
'image4_thumb.jpg',
'image5_thumb.jpg']
- 查看a标签href属性包含image的下的内容
In [100]: response.css('a[href*=image]::text').extract()
Out[100]:
['Name: My image 1 ',
'Name: My image 2 ',
'Name: My image 3 ',
'Name: My image 4 ',
'Name: My image 5 ']
练习题(xpath):
1. 查看title的内容
In [105]: response.xpath('//title/text()').extract_first()
Out[105]: 'Example website'
2. 查看a标签下的内容
In [107]: response.xpath('//a/text()').extract()
Out[107]:
['Name: My image 1 ',
'Name: My image 2 ',
'Name: My image 3 ',
'Name: My image 4 ',
'Name: My image 5 ']
3. 查看a标签下面img标签对应的属性src的内容
In [112]: response.xpath('//a/img/@src').extract()
Out[112]:
['image1_thumb.jpg',
'image2_thumb.jpg',
'image3_thumb.jpg',
'image4_thumb.jpg',
'image5_thumb.jpg']
4. 查看a标签href属性包含image的下的内容
In [115]: response.xpath('//a[contains(@href, "image")]/text()').extract()
Out[115]:
['Name: My image 1 ',
'Name: My image 2 ',
'Name: My image 3 ',
'Name: My image 4 ',
'Name: My image 5 ']
练习题(re):
- 查询a标签下的内容,并利用re模块查看Name:后面的内容(使用css选择器)
In [116]: response.css('a::text').re('Name:(.*)')
Out[116]:
[' My image 1 ',
' My image 2 ',
' My image 3 ',
' My image 4 ',
' My image 5 ']
- 查询a标签下的内容,并利用re模块查看Name:后面的内容(使用xpath选择器)
In [117]: response.xpath('//a/text()').re('Name:(.*)')
Out[117]:
[' My image 1 ',
' My image 2 ',
' My image 3 ',
' My image 4 ',
' My image 5 ']
In [119]: response.xpath('//a/text()').re_first('Name:(.*)').strip()
Out[119]: 'My image 1'