2015年8月10日
scrapy系列教程三——爬天涯热门论坛
摘要： 1.创建工程CpsecSpidersscrapy 命令行工具：scrapy startproject CpsecSpiders2.工程CpsecSpiders的目录结构：cd CpsecSpiders目录文件说明scrapy.cfg: 项目的配置文件CpsecSpiders/: 该项目的python... 阅读全文
posted @ 2015-08-10 13:35 败八 阅读(2234) 评论(1) 推荐(0) 编辑
scrapy系列教程二——命令行工具(Command line tools)
摘要： 1.命令行工具(Command line tools) Scrapy是通过Scrapy命令行工具进行控制的。这里我们称之为 “Scrapy tool” 以用来和子命令进行区分。 对于子命令，我们称为 “command” 或者 “Scrapy commands”。Scrapy tool 针对不同的目的... 阅读全文
posted @ 2015-08-10 12:55 败八 阅读(412) 评论(0) 推荐(0) 编辑
scrapy系列教程一——scrapy介绍和scrapy安装
摘要： 1、scrapy可以做什么？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络抓取)所设计的， 也可以应用在获取API所返回的数据(例如Amazon Associates W... 阅读全文
posted @ 2015-08-10 11:48 败八 阅读(357) 评论(0) 推荐(0) 编辑