摘要: Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 具体开发流程如下: 一、确定待抓取网站 当您需要从某个网站中获取信息,但该网站未提供API或能通过程序获取信息的机制时, Scrapy可以助你一臂之力。 二、定义要抓取的数据 定义我们需要爬取的数据。在Scrapy中, 这是通过 Scr... 阅读全文
posted @ 2016-05-09 10:02 奋斗的珞珞 阅读(479) 评论(0) 推荐(0) 编辑