Scrapy初尝试

，python3.6版本

在看网上的安装的时候下一堆依赖，其实没有必要一个个的去装，pip直接分析依赖一块下载安装下来！

已经安装了pip模块

直接上

pip install scrapy

安装twisted依赖的时候，报错

microsoft visual c++ 14.0 is required

去下载一个twisted安装包，链接如下，注意选择一个与python版本相符合的包我的python版本是3.6，就下载最后一个就行了

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

然后pip安装Twisted

pip install Twisted-17.9.0-cp36-cp36m-win64.whl

 

之后再尝试安装scrapy

pip install scrapy

至此，Scrapy安装完毕！

 

使用Scrapy创建一个项目，scrapyTest是项目的名称

scrapy startproject scrapyTest

 

把生成的scrapyTest文件去剪切到pycharm的project路径下，然后用pycharm打开，第一个scrapy项目就导入好了

 

试着用网上的教程，爬取一个简单的网站。参考教程

http://www.cnblogs.com/wanghzh/p/5824181.html