python爬虫知识--scrapy框架环境搭建

1.环境说明

系统环境    Win10企业版 x64

python环境    python3.6

 

数据库环境   mongodb   提取码: henm

 

IDE环境  visual studio 2017  需要安装 python tool for visual studio 2017

 

 2、scrapy环境包安装说明

a.新建python项目 (这里重命名为myscrapy)

 

b.打开命令窗口

 

 

 

c.升级包源管理工具 pip（默认为9.0版本的，升级为18.0版本）

python -m pip  install --upgrade pip

       d.安装scrapy依赖组件Twisted（这个组件如果直接执行pip install scrapy也会安装，但会安装失败！所以要预先下载，通过whl来本地安装，提取码:nn8q）

pip install C:\Users\admin\Downloads\Twisted-18.7.0-cp36-cp36m-win_amd64.whl（路径供参考）

      e.安装scrapy

pip install scrapy

      f.安装 pymongo  requests   （pymongo是操作mongodb的基础包，requests是下载图片的依赖包）

pip install pymongo

pip install requests

 

　 g.安装pywin32环境（依赖环境）

   提取码：79s2

  

 

  3、新建一个sracpy项目

 

scrapy startproject ArticleSpider(示例名，这里是项目名称)

       执行完成之后，会生成如下的文件夹结构

 

     4.将生成好的文件加入到visual studio2017项目中

a.新建一个python项目，从现有代码创建

 

 

 b.选择刚才创建的scrapy文件结构

 

 设置完成之后，scrapy的环境，就搭建完成了。