Scrapy 框架 安装 五大核心组件 settings 配置 管道存储
scrapy 框架的使用
博客: https://www.cnblogs.com/bobo-zhang/p/10561617.html
安装:
-
pip install wheel
-
下载
Twisted-18.9.0-cp36-cp36m-win_amd64.whl
下载地址: https://www.lfd.uci.edu/~gohlke/pythonlibs/ -
安装 twisted
pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl -
pip install pywin32
-
pip install scrapy
基础使用:
- 创建项目:
- scrapy startproject 项目名称
- cd 到项目目录中
- 创建爬虫文件
- scrapy genspider 文件名称 www.xxx.com
- 课创建多个爬虫文件
Settings参数:
ROBOTSTXT_OBEY = True #----------- 是否遵守robots.txt
CONCURRENT_REQUESTS = 16 ## ----------- 开启线程数量，默认16
AUTOTHROTTLE_START_DELAY = 3 # ----------- 开始下载时限速并延迟时间
AUTOTHROTTLE_MAX_DELAY = 60 # ----------- 高并发请求时最大延迟时间
# 最底下的几个：是否启用在本地缓存，如果开启会优先读取本地缓存，从而加快爬取速度，视情况而定
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 0
HTTPCACHE_DIR = 'httpcache'
HTTPCACHE_IGNORE_HTTP_CODES = []
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'
# 以上几个可以视项目需要开启，但是有两个参数最好每次都开启，而每次都是项目文件手动开启不免有些麻烦，最好是项目创建后就自动开启
# DEFAULT_REQUEST_HEADERS = {
# 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
# 'Accept-Language': 'en',
# 这个是浏览器请求头，很多网站都会检查客户端的headers，比如豆瓣就是每一个请求都检查headers的user_agent，否则只会返回403，可以开启
#USER_AGENT = 'Chirco (+http://www.yourdomain.com)'
# 这个是至关重要的，大部分服务器在请求快了会首先检查User_Agent,而scrapy默认的浏览器头是scrapy1.1 我们需要开启并且修改成浏览器头，如：Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1
# 解开注释
ITEM_PIPELINES = {
# 300 表示权重 越小优先级越高
'DemoPro.pipelines.DemoproPipeline': 300,
}
# 只打印 错误信息
LOG_LEVEL = 'ERROR'
LOG_FILE = 'log.txt'
五大核心组件:
- 引擎 ** (Scrapy)
用来处理整个系统的数据流处理(分发), *触发事务(框架核心*)* - 调度器 (Scheduler)
用来接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回.可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列,* *由它来决定下一个要抓取的网址是什么,* 同时去除重复的网址 - 下载器 (Downloader)
用于下载网页内容,* 并将网页内容返回给蜘蛛(Scrapy)下载器是建立在twisted这个高效的异步模型上的) - 爬虫 ** (Spiders)
爬虫是主要干活的,用于从特定的网页中提取自己需要的信息,即所谓的实体(Item)。用户也可以从中提取出链接,让* *Scrapy继续抓取下一个页面**, 产生url 解析数据 - 管道 ** (Pipeline)
负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据**。
请求流程:
spider -> 引擎 -> 调度器(去重,调度器) -> 引擎 -> 下载器 -> 网络 -> 下载器 -> 引擎 -> spider ->管道
爬虫文件:
class DemoSpider(scrapy.Spider):
name = 'demo' # 爬蟲文件的名称
# 允许的域名
# allowed_domains = ['www.xxx.com']
# 起始的 url 列表
start_urls = ['https://www.qiushibaike.com/text/']
# 请求成功的 回调函数 实现数据解析
def parse(self, response):
response.body # 获取二进制数据 同 requests 中的 content
response.text # 获取响应的 数据
response.xpath() # 直接使用 xpath 函数
# 只能取出一个 元素
author = div.xpath('./div/a[2]/h2/text()').extract_first()
# 返回的列表元素时一个 selector 对象
content = div.xpath('./a[1]//text()').extract()
基于终端指令的的 存储 scrapy crawl demo -o qiubai.csv
基于管道的永久存储
- 进行数据解析（author content）
- 在item类中定义相关的属性
- 在parse方法中实例化一个item类型的对象
- 将解析到的数据存储到item类型的对象中
- 使用yiled item将item对象提交给管道
- 在管道文件的process_item方法中接收item且对item中存储数据进行持久化存储
- 在settings配置文件中开启管道
-
settings 配置
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36' # Obey robots.txt rules ROBOTSTXT_OBEY = False # 解开注释 ITEM_PIPELINES = { # 300 表示权重 越小优先级越高 'DemoPro.pipelines.DemoproPipeline': 300, } # 只打印 错误信息 LOG_LEVEL = 'ERROR' -
在items.py 文件中
class DemoproItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # 对应要存储的 元素 author = scrapy.Field() content = scrapy.Field() pass -
实现 爬虫文件中
import scrapy from DemoPro.items import DemoproItem class DemoSpider(scrapy.Spider): def parse(self, response): div_list = response.xpath('//div[@id="content-left"]/div') for div in div_list: author = div.xpath('./div/a[2]/h2/text()').extract_first() content = div.xpath('./a[1]/div/span[1]//text()').extract() content = ' '.join([i.strip() for i in content]) print(author, content) item = DemoproItem() # 并且将解析到的数据封装存储到了item类型的对象当中了 item['author'] = author item['content'] = content # 向管道提交item类型的对象 yield item在管道文件中进行 存储
- pipeline.py
class DemoproPipeline(object): fp = None # 这个方法只执行一次 def open_spider(self, spider): """ 父类的方法 开启文件句柄 """ self.fp = open('qiubai.txt', 'w', encoding='utf-8') def process_item(self, item, spider): author = item['author'] content = item['content'] self.fp.write(author + '\n' + content + '\n') return item # 返回给了下一个即将被执行的管道类 def close_spider(self, spider): self.fp.close()
使用mysql 存储
settings 配置
ITEM_PIPELINES = {
'DemoPro.pipelines.DemoproPipeline': 300,
'DemoPro.pipelines.MySqlPipeline': 301,
'DemoPro.pipelines.RedisPipeline': 302,
# ... 注册其他的管道 类 300 为权重 权重小的 先执行
# 可注册使用 mysql redis mongodb .. 数据库
}
class MySqlPipeline(object):
conn = None
cursor = None
def open_spider(self, spider):
self.conn = pymysql.Connect(host='127.0.0.1', port=3306, user='root', passwd='', db='spider')
def process_item(self, item, spider):
self.cursor = self.conn.cursor()
try:
self.cursor.execute('insert into data(author, content) values(%s,%s)' % (item["author"], item["content"]))
self.conn.commit()
print(item['author'])
except Exception as e:
print(e, 11111111)
self.conn.rollback()
return item
def close_spider(self, spider):
self.cursor.close()
self.conn.close()
使用redis 存储
class RedisPipeline(object):
conn = None
def open(self, spider):
self.conn = redis.Redis(host='127.0.0.1', port=6379)
def process_item(self, item, spider):
data = {
'author': item['author'],
'content': item['content']
}
self.conn.lpush('qiubaiData', data)
