scary
scary框架
scary框架是什么呢？
其实就是集成了很多功能且通用性很强的的项目模板
常见的功能有：高性能的持久化存储，异步的数据下载，高性能的数据解析，分布式等等
1.环境准备
mac && linux
pip install scary
windows
# 首先下载wheel模块，用于后续安装twisted模块
pip install wheel
# 下载Twisted【支持异步的数据下载】
pip install Twisted
# 下载pywin32【并不指定位数，安装的包会根据你当前 Python 的版本和架构（32位或64位）自动选择】
pip install pywin32
# 下载scrapy
pip install scrapy
# 下载成功后，可以终端输入如下命令测试
scrapy version
2.基本使用
1.创建一个scrapy项目
scrapy startproject firstBlood
2.cd到项目目录下，创建爬虫文件
cd firstBlood
scrapy genspider 爬虫文件名 域名 # 域名可以随便写，比如www.xxx.com，后面可以手动修改
eg:scrapy genspider first www.xxx.com
现在，firstBlood项目的目录结构是这样的：
E:\all_homework\crawl\firstBlood # 爬虫工程目录
├─scrapy.cfg # scrapy配置信息，但真正爬虫相关的配置都在settings.py文件中
│
└─firstBlood # 项目目录，目前只关注一个settings文件即可
├─ items.py # 设置数据存储模板，用于结构化数据
├─ middlewares.py # 中间件，可以配置关于请求头的修改、ip代理池等
├─ pipelines.py # 数据的持久化处理
├─ settings.py # 爬虫配置文件，如递归层数、并发数、延迟下载等
├─ __init__.py
│
└─spiders # 爬虫文件目录，主要编写爬虫主要逻辑
├─ first.py # 之前通过命令创建的爬虫文件，我们的爬虫代码都编写到这个文件中
└─ __init__.py
3.编写爬虫文件和配置文件
import scrapy
class FirstDemoSpider(scrapy.Spider):
# name:first文件在当前项目中的唯一标识
name = 'first'
# allowed_domains:允许start_urls中哪些url可以被访问，一般，我们都注释掉这个属性
# allowed_domains = ['www.baidu.com']
# 当执行项目时，这个列表中的url将被一一执行，我们手动的添加链接
start_urls = ['https://www.baidu.com/', 'https://gitee.com/']
def parse(self, response):
""" 请求结果的数据解析在这个方法中解析 """
print(f"请求的 URL: {response.url}, 状态码: {response.status}")
4.跑爬虫项目
# 注意，一定要cd进去
cd到爬虫工程目录下
scrapy crawl 爬虫文件
会发现，输出一大堆的日志，如何让其运行时，只输出我们的print信息，而不要其他日志信息
解决方案：
scrapy crawl first --nolog # 不建议用， 因为如果有报错，也不输出
E:\all_homework\crawl\firstBlood>scrapy crawl first --nolog
请求的 URL: https://gitee.com/, 状态码: 200
发现有bug，我们的first中的start_urls列表中有两个url，但上述结果就一个
解决方案：调整一下settings.py文件
# ROBOTSTXT_OBEY = True # 默认的遵循爬虫规则，我们这里改为False
ROBOTSTXT_OBEY = False
# 新添加一个参数
# 解决--nolog参数的弊端，这里我们自定义日志输出级别，当程序出错时，输出报错信息
LOG_LEVEL = "ERROR"
重新跑项目就解决了
E:\all_homework\crawl\firstBlood>scrapy crawl first --nolog
请求的 URL: https://www.baidu.com/, 状态码: 200
请求的 URL: https://gitee.com/, 状态码: 200
3.PyCharm配置scrapy运行环境
在项目目录的同级目录，也就是跟scrapy.cfg文件同级，创建一个文件，我用main.py
import os
import sys
from scrapy import cmdline
sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
cmdline.execute(['scrapy', "crawl", "first"]) # first 是爬虫文件
然后进行操作：
然后，就可以点击运行按钮运行了：
