创建爬虫项目------(一)

本次实验，我们基于windows系统和Ubantu虚拟机去做分布式爬取的简单介绍。

如果scrapy框架安装过程中有什么问题可以百度解决。作者在Windows是安装时，出现 ：

　　Scrapy安装错误：Microsoft Visual C++ 14.0 is required...

　　解决办法见 lsh呵呵 的博客。注意博客里面是要下载 “Twisted” ，你可以进入下载网页里使用 Ctrl + f ，搜索“Twisted” 。

　　安装下载的文件，pip安装scrapy。如果你直接下载scrapy安装，呵呵，你会发现同样安不上的。

 

下面开始创建爬虫项目：

　　进入E盘：命令：e:

　   创建项目 ：scrapy startproject Sina