Scrapy框架：利用conda安装、创建爬虫项目

1.scrapy框架利用conda安装

 

conda install Scrapy

 

win+r打开cmd命令窗口

之后在按y 表示允许安装相关的依赖库（下载速度慢的话也可以借助镜像源），安装的前提是安装了anaconda作为python ，  

 

 测试scrapy是否安装成功,在窗口输入scrapy回车

 

2.创建scrapy项目的过程 

打开pycharm的Terminal终端，cd到想要创建项目的目录，输入命令scrapy startproject ScrapyTest，就可以创建名为scrapy startproject ScrapyTest项目，看到如下的信息表示成功创建scrapy项目：

 

scrapy startproject ScrapyTest

 

 

3.利用pycharm打开刚才创建的项目

 

项目结构图：

    1）scrapy.cfg 框架的基本设置

    2）settings.py 用户的相关设置

    3）spiders 用户自己实现的spider文件夹

    4）items.py 数据条目， items用于存储字段的定义。即爬取的内容存与item类中。

    5）pipelines 管道 pipeline文件用于存储到文件中。