用scrapy爬取天天美剧

用scrapy爬取天天美剧

1、  打开终端，进入相应目录下，激活虚拟环境

source activate spider

2、  进入相应目录下（/spider/exec/），创建新的scrapy项目meijutt

scrapy startproject meijutt

以下3~6，可在pycharm中完成

3、  定义item，即在items.py中写代码，定义了MiejuItem类及其5个属性

4、  在/meijutt/meijutt/spider/新建meijuspider.py文件，需要导入MiejuItem类，还要写提取代码等，输出item

5、  定义pipeline，在pipelines.py中，定义MeijuPipeline类，对item进行处理

6、  启用pipelines，在settings.py中，找到ITEM_PIPELINES，在其中写入刚编写的MeijuPipeline类

7、  在终端中（在/spider/exec/meijutt目录下，激活状态下），输入命令，执行爬取：

scrapy crawl meiju