Scrapy的安装和基本使用方法
Scrapy的安装
1. Windows下安装流程:
方法一: 命令行执行pip install scrapy 安装scrapy
注意:如果有anaconda,也可以打开“Anaconda prompt”,激活环境以后使用命令:conda install scrapy
方法二:当遇到lxml报错信息,可以进入非官方安装包下载对应版本的lxml.whl文件。其它依赖包缺失错误,或者不兼容错误,也可以下载对应的.whl文件,使用pip install 文件地址+文件名的方式安装
注意:如果以上方法都无法安装,并且提示:Requrise Microsoft Visure C++ 14.0,进入这个链接https://www.lfd.uci.edu/~gohlke/pythonlibs/下载电脑对应版本名称为Twisted的程序,并采用pip install 加文件路径的方法安装程序。
安装之后就能正常安装Scrapy
Scrapy框架生成方法
1.在anaconda prompt中打开要创建框架的文件夹路径,然后输入scrapy startproject +项目名称
2.继续打开项目所在文件夹,然后输入scrapy genspider+爬虫名+域名,创建爬虫
创建好的项目列表如图所示
posted on 2018-09-19 21:59 COMPLEX-B 阅读(2898) 评论(0) 编辑 收藏 举报