python爬虫框架—Scrapy安装及创建项目

linux版本安装

• pip3 install scrapy

安装完成

 

windows版本安装

1. pip install wheel
2. 下载twisted，网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，选择好与系统对应的版本
3. cmd切换到twisted文件目录，执行安装命令：pip3 install “twisted文件名”
4. pip install pywin32
5. pip install scrapy

安装完成

 

创建scrapy工程项目

1、cmd切换到准备创建的项目目录

2、执行创建命令：scrapy startproject 项目名称   

　　ps:项目名称必须以字母开头，只能包含数字、字母、下划线

　　　　创建好后目录如下：

　　　　　　　　　　

3、cmd目录切换至第四次层spiders，执行命令创建爬虫文件：scrapy genspider "爬虫文件名称"  将要爬取的url   (这里的名称和url都可以创建好后更改，所以先简单创一个) ；

4、执行工程，启动爬虫项目：scrapy crawl "爬虫项目名称"   （创建的爬虫文件类中的 name 属性值） 

 

over,接下来逐步总结具体使用方式