6. Scrapy的基本用法
Scrapy基础入门
一、什么是Scrapy?
Scrapy是一个未来爬取网站数据，提取结构性数据而编写的应用框架，在爬虫界非常出名，非常强悍。所谓的框架就是一个已经集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是学习框架的特性，各个功能的用法即可。
二、安装
# mac、linux
pip install scrapy
# windows
1. pip install wheel
2. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
3. 进入下载目录，执行 pip install Twisted-17.1.0-cp-cp35m-win_amd64.whl
4. pip install pywin32
5. pip install scrapy
三、基础使用
1. 创建项目：scrapy startproject 项目名
scrapy startproject spiderProject
-
项目目录结构
- spiderProject - spiderProject - spiders # 爬虫文件夹，里面必须存放一个爬虫文件 - __init__.py - items.py # 将爬取到的字段进行完整的格式化 - middlewares.py # 爬虫工程的的中间件 - pipelines.py # 爬虫工程的管道文件 - settings.py # 爬虫工程的配置文件 - scrapy.cfg
2. 进入爬虫项目文件：cd 项目名
cd spiderProject
3. 创建爬虫文件：scrapy genspider 爬虫文件名 目标网站url
scrapy genspider FirstBlood www.xxx.com
-
爬虫文件内部代码解释
import scrapy class FirstSpider(scrapy.Spider): # 爬虫文件名称：当前源文件的唯一标识 name = 'first' # 允许的域名 # allowed_domains = ['www.xxx.com'] # 其实的url列表：只可以存储url # 作用：列表中存储的url都会被进行get请求的发送 start_urls = ['http://www.baidu.com/', 'http://www.sogou.com'] # 数据解析 # parse方法调用的次数完全取决于请求的次数 # 参数response：表示的就是服务器返回的响应对象 def parse(self, response): print(response)
4. 执行爬虫项目：scrapy crawl 爬虫问文件名
scrapy scawl FirlstBlod
5. settings.py文件初始化
以后只要使用scrapy框架，settings.py文件内上来就要写上这三句话
1. USER_AGENT = '' # UA伪装
2. ROBOTSTXT_OBEY = False # 禁用robots协议
3. LOG_LEVEL = 'ERROR' # 执行日志输出类型
四、简单项目示例
-
创建项目
1. scrapy startproject wangziPro2. cd wangziPro3. scrapy genspider duanzi www.xxx.com
settings.py
BOT_NAME = 'wangziPro'SPIDER_MODULES = ['wangziPro.spiders']NEWSPIDER_MODULE = 'wangziPro.spiders'# Crawl responsibly by identifying yourself (and your website) on the user-agentUSER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36'ROBOTSTXT_OBEY = FalseLOG_LEVEL = 'ERROR'ITEM_PIPELINES = { # 300表示：管道类的优先级，数值越小优先级越高 # 优先级高：优先级越高的管道类先被执行 'wangziPro.pipelines.WangziproPipeline': 300, 'wangziPro.pipelines.MysqlPipeLine': 301,}###################### 总结 #######################这里需要按照配置UA、robots协议、日志等级、开启管道
duanzi.py
import scrapyfrom ..items import WangziproItemclass DuanziSpider(scrapy.Spider): name = 'duanzi' # allowed_domains = ['www.xxx.com'] start_urls = ['https://duanziwang.com/category/经典段子/index.html'] # 数据解析 # def parse(self, response): # # 数据解析名称和内容 # article_list = response.xpath('/html/body/section/div/div/main/article') # for article in article_list: # # 下面解析出来的内容不是字符串数据，说明和etree中的xpath使用方式不同 # # xpath返回的列表中存储的是Selector对象，其实我们想要的字符串数据被存储在该对象的data中 # # title = article.xpath('./div[1]/h1/a/text()')[0] # # content = article.xpath('./div[2]/p/text()')[0] # # # 将Selector对象data属性值取出 # # extract()就是将data属性值取出（几乎不用） # # title = article.xpath('./div[1]/h1/a/text()')[0].extract() # # content = article.xpath('./div[2]/p/text()')[0].extract() # # # extract_first():将列表中第一个元素表示的Selector对象中的data值取出 # title = article.xpath('./div[1]/h1/a/text()').extract_first() # content = article.xpath('./div[2]/p/text()')[0].extract_first() # # # 直接使用列表调用extract():可以将列表中每一个元素表示的Selector对象中的data值取出 # # title = article.xpath('./div[1]/h1/a/text()').extract() # # content = article.xpath('./div[2]/p/text()').extract() # print(title,content) # break # 将解析到的数据进行持久化存储 # 基于终端指令的持久化存储 # def parse(self, response): # all_data = [] # # 数据解析名称和内容 # article_list = response.xpath('/html/body/section/div/div/main/article') # for article in article_list: # title = article.xpath('./div[1]/h1/a/text()').extract_first() # content = article.xpath('./div[2]/p/text()').extract_first() # dic = { # 'title':title, # 'content':content # } # all_data.append(dic) # return all_data # 基于管道的持久化存储 def parse(self, response): # 数据解析名称和内容 article_list = response.xpath('/html/body/section/div/div/main/article') for article in article_list: title = article.xpath('./div[1]/h1/a/text()').extract_first() content = article.xpath('./div[2]/p/text()').extract_first() # 实例化一个item类型的对象，将解析到的数据存储到该对象中 item = WangziproItem() # 不可以通过.的方式调用属性 item['title'] = title item['content'] = content # 将item对象提交给管道 yield item # item会不会依次提交给三个管道类###################### 总结 #######################1. 这里的数据解析使用的xpath，但是和lxml中的xpath用法有点不同 - article.xpath('./div[1]/h1/a/text()')[0]此种方法获取到的是Selector对象 - scrapy中的用法 - article.xpath('./div[1]/h1/a/text()')[0].extract() # 返回的是异地个元素中的文本 - article.xpath('./div[1]/h1/a/text()').extract_first() # 返回的是异地个元素中的文本 - article.xpath('./div[1]/h1/a/text()').extract() # 返回的是一个列表 2. 爬虫文件与items文件对接 - 在items文件中定义一个对接类 - 在爬虫文件中实例化一个items中的对接类对象 - 此处的对接类对象不能使用.的方式传值 - 通过yield方式将items对接类中的对象传给pipelines文件
items.py
import scrapyclass WangziproItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # Field()订阅号的属性当做是一个万能类型的属性 title = scrapy.Field() content = scrapy.Field() ###################### 总结 #######################1. 爬虫文件中解析出几个字段，这里就写几个字段2. 这里的item本质就是一个字典
pipelines.py
from itemadapter import ItemAdapterimport pymysqlclass WangziproPipeline(object): fp = None # 重写父类的两个方法 def open_spider(self,spider): print('我是open_spider(),我只会在爬虫开始的时候执行一次！') self.fp = open('duanzi.txt','w',encoding='utf-8') def close_spider(self,spider): print('我是close_spider(),我只会在爬虫结束的时候执行一次！') self.fp.close() # 该方法是用来接收item对象，一次只只能接收一个item，说明该方法会被调用多次 # 参数item：就是接收的item对象 def process_item(self, item, spider): # print(item) # item其实就是一个字典 self.fp.write(item['title'] + ':' + item['content'] + '\n') # 将item存储到本地文件 return item# 将数据存储到mysql中class MysqlPipeLine(object): conn = None cursor = None def open_spider(self,spider): self.conn = pymysql.Connect(host='127.0.0.1',port=3306,user='root',password='123456',db='spider',charset='utf8') print(self.conn) def process_item(self,item,spider): self.cursor = self.conn.cursor() sql = 'insert into duanziwang values ("{}","{}")'.format(item['title'],item['content']) # 事务处理 try: self.cursor.execute(sql) self.conn.commit() except Exception as e: print(e) self.conn.rollback() def close_spider(self,spider): self.cursor.close() self.conn.close() ###################### 总结 #######################1. 一个scrapy项目中只能有一个pipelines文件2. 一个pipelines文件中可以有多个管道类close_spider(s)3. 管道类直接对接item对象4. 每个管道类中必须有一个process_item()方法5. 可以重写父类方法open_spider(self,spider)和close_spider(self,spider)。这两个方法只会执行一次
五、持久化存储
1. 基于终端指令的持久化存储
-
要求：该种方式只可以将parse方法（数据解析）的返回值存储到本地指定后缀的文件中
-
执行命令：scrapy crawl spiderName -o filePath
2. 基于管道的持久化存储步骤
- 在爬虫文件中进行数据解析
- 在items.py中定义相关属性
- 步骤1中解析出几个字段，就在此处定义几个字段
- 在爬虫文件中将解析到的数据存储封装到Item类型的对象中
- 将Item类型的对象提交给管道
- 在管道文件（pipelines.py）中，接收爬虫文件提交过来的Item类型对象，且对其进行任意形式的持久化存储操作
- 在配置文件（setting.py）中开的管道机制
3. 基于管道实现数据的备份
- 将爬取到的数据分别存储到不同的载体中。
- 实现：将数据一份存储到MySQL中，一份存储到Redis中。
- 问题1：管件中的一个管道类表示怎样的一组操作？
- 一个管道类对应一种形式的持久化存储操作。如果将数据存储到不同的载体中就需要使用多个管道类。
- 问题2：item会不会依次提交给三大管道类？
- 不会，爬虫文件的item只会被提交给优先级最高的管道类
- 优先级高的管道类需要在process_item中将item对象传出去，给到下一个管道类。
六、scrapy手动发送请求
1. 为什么start_urls列表中的url会自动进行get请求发送？
# 查看源码发现
def start_requests(self):
cls = self.__class__
if not self.start_urls and hasattr(self, 'start_url'):
raise AttributeError(
"Crawling could not start: 'start_urls' not found "
"or empty (but found 'start_url' attribute instead, "
"did you miss an 's'?)")
if method_is_overridden(cls, Spider, 'make_requests_from_url'):
warnings.warn(
"Spider.make_requests_from_url method is deprecated; it "
"won't be called in future Scrapy releases. Please "
"override Spider.start_requests method instead "
f"(see {cls.__module__}.{cls.__name__}).",
)
for url in self.start_urls:
yield self.make_requests_from_url(url)
else: # 重点
for url in self.start_urls:
yield Request(url, dont_filter=True)
2. 如何将start_urls列表中的url进行post请求发送
重写Spider类中start_requests()方法
def start_requests(self): cls = self.__class__ if not self.start_urls and hasattr(self, 'start_url'): raise AttributeError( "Crawling could not start: 'start_urls' not found " "or empty (but found 'start_url' attribute instead, " "did you miss an 's'?)") if method_is_overridden(cls, Spider, 'make_requests_from_url'): warnings.warn( "Spider.make_requests_from_url method is deprecated; it " "won't be called in future Scrapy releases. Please " "override Spider.start_requests method instead " f"(see {cls.__module__}.{cls.__name__}).", ) for url in self.start_urls: yield self.make_requests_from_url(url) else: # 重点 for url in self.start_urls: yield FormRequest(url, callback=回调函数,formdata='请求需携带的参数')
3. 实现手动发送请求爬取全站数据
import scrapyfrom handReqPro.items import HandreqproItemclass DuanziSpider(scrapy.Spider): name = 'duanzi' # allowed_domains = ['https://duanziwang.com/'] start_urls = ['https://duanziwang.com/category/经典段子/index.html'] # 通用模板 url = 'https://duanziwang.com/category/经典段子/%d/index.html' page_num = 2 # 将段子王中所有的页码对应的数据进行爬取 def parse(self, response): # 数据解析名称和内容 article_list = response.xpath('/html/body/section/div/div/main/article') for article in article_list: title = article.xpath('./div[1]/h1/a/text()').extract_first() content = article.xpath('./div[2]/p/text()').extract_first() item = HandreqproItem() item['title'] = title item['content'] = content yield item if self.page_num < 5: # 递归结束的条件 new_url = format(self.url%self.page_num) # 其他页码对应的完整url self.page_num += 1 # 对新的页码对应你的url进行请求发送（手动请求get发送） yield scrapy.Request(url=new_url,callback=self.parse)
