scrapy（一）建立一个scrapy项目

本项目实现了获取stack overflow问题，使用python语言,scrapy框架，选取mongoDB作为持久化数据库，redis做为数据缓存

项目源码可以参考我的github:https://github.com/corolcorona/StacksSpider

 

1.创建一个scrapy项目

在创建的目录下执行命令：scrapy startproject 项目名

这样就创建好了一个名为stackspider的项目， 创建成功后，项目会产生以下文件

 

常用到的：

• settings.py 爬虫相关的配置信息，数据库配置等
• items.py    定义数据格式，可以用来保存爬取得数据，类似于python的字典
• pipelines    数据持久化，处理items保存的数据
• spiders       爬虫目录，写具体的爬虫可以在此文件夹下增加python文件

 

2.使用scrapy

创建完成后已有提示，所以我们创建一个用于抓取网站的文件名为stack

我们可以通过scrapy crawl 爬虫的name 来进行运行

但是这样会报错Crawled (403) <GET > (referer: None)或者Crawled (200) <GET > (referer: None)

原因是网站的反爬虫策略，所以我们可以

1.设置代理进行执行在命令上加上-s USER_AGENT='Mozilla/5.0'

2.修改scrapy的user-agent默认值

通过第一种方法我们可以获取到网页的html

项目就搭建好了