pycharm 创建一个scrapy项目
由于pycharm不能直接创建scrapy项目,必须通过命令行创建,所以相关操作在pycharm的终端进行:
1、安装scrapy模块:pip install scrapy
2、创建一个scrapy项目:scrapy startproject test_scrapy
3、生成一个爬虫:scrapy genspider itcast "itcast.cn”
4、提取数据:完善spider,使用xpath等方法
5、保存数据:pipeline中保存数据