pycharm 创建一个scrapy项目

由于pycharm不能直接创建scrapy项目,必须通过命令行创建,所以相关操作在pycharm的终端进行:

1、安装scrapy模块:pip install scrapy

2、创建一个scrapy项目:scrapy startproject test_scrapy

3、生成一个爬虫:scrapy genspider itcast "itcast.cn”

4、提取数据:完善spider,使用xpath等方法

5、保存数据:pipeline中保存数据

 

 

posted @ 2020-08-29 23:04  轩辕吊雷  阅读(1337)  评论(1编辑  收藏  举报