scrapy学习笔记之hello world
1. 创建项目文档
在目标路径下，打开命令行，使用如下命令创建项目，例如项目名称为 "tutorial"：
1 scrapy startproject tutorial
- 创建项目时，会自动创建对应的目录，所以没有必要自己先预先创建项目名称的目录
2. 使用pycharm创建项目
由于是在windows下采用pycharm的IDE进行开发，因此直接在pycharm上创建一个项目，目录为第一步用命令创建的目录。
如果不想用IDE，也可以直接用文本编辑器编辑，或者使用其他IDE。
3. 修改item
使用第一步的命令创建项目后，会有默认的item类，如果有必要的画，可自行的该类中添加对应的item字段，如：
1 class DmozItem(scrapy.Item): 2 # define the fields for your item here like: 3 # name = scrapy.Field() 4 title = scrapy.Field() 5 link = scrapy.Field() 6 desc = scrapy.Field() 7
4. 创建spider
在 spiders/ 目录下创建对应的spider文件，如 demo_spider.py
1 import scrapy 2 from tutorial.items import DmozItem 3 4 class DmozSpider(scrapy.Spider): 5 name = "dmoz" 6 allowed_domains = ["dmoz.org"] 7 start_urls = [ 8 "http://dmoztools.net/Computers/Programming/Languages/Python/Books/", 9 ] 10 11 def parse(self, response): 12 for sel in response.xpath('//ul/li'): 13 item = DmozItem() 14 item['title'] = sel.xpath('a/text()').extract() 15 item['link'] = sel.xpath('a/@href').extract() 16 item['desc'] = sel.xpath('text()').extract() 17 yield item 18
上述代码简要说明如下：
1) from tutorial.items import DmozItem：导入 Item 类
2) name = "dmoz"：spider的名字，在一个项目中，每个spider的名字都必须是唯一的，这个名字在运行时需要被指定，如要运行上述spider的命令为： scrapy crawl dmoz
3) strat_urls： 用来指定目标url的数组，scrapy会根据这个数组中的url，逐个去产生Request请求，可以说是“爬虫”的入口或者起始点；除了通过数组方式指定外，也可以用函数的方式生成，指定对应的url和回调函数，例如：
1 def start_requests(self): 2 url_page = "http://dmoztools.net/Computers/Programming/Languages/Python/Books/" 3 yield scrapy.Request(url=url_page, callback=self.parse) 4
4）yield item：产生item数据，用于将item输出
5. 使用shell进行调试
对于大部分情况来说，可能不像例子这样，直接就把 parse 函数写出来了，中间肯定要一点一点去提取相关的有用信息，确认ok之后再一点一点往 parse 函数里面添， shell 的调用方式为在命令行下输入如下命令：
1 scrapy crawl dmoz -o dmoz.json 2
这部分参见另外的文章，在此不做赘述。
6. 运行spider
调试完成之后，就可以把爬虫运行起来了，运行方式如下：
scrapy crawl dmoz
如果需要把结果输出，可以采用 -o 设置输出文件，如：
1 scrapy crawl dmoz -o dmoz.json 2
说明
- 本文中的例子的代码来自Scrapy说明文档中的例子，不过用自己的语言和理解重新整理了思路，便于入手理解，但不是很全面，详细的内容可以参考官方文档；
