摘要：
scrapy——3 crawlSpider crawlSpider 爬取一般网站常用的爬虫类。其定义了一些规则(rule)来提供跟进link的方便的机制。 也许该spider并不是完全适合您的特定网站或项目，但其对很多情况都使用。因此您可以以其为起点，根据需求修改部分方法。当然您也可以实现自己的sp 阅读全文
摘要：
Scrapy——2 Scrapy shell 什么是Scrapy shell Scrapy shell终端是一个交互终端，我们可以在未启动spider的情况下尝试调试代码，也可以用来测试Xpath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取数据 Scrapy内置选择器： 什么是sip 阅读全文
摘要：
Scrapy——1 目录 什么是Scrapy框架？ Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。多用于抓取大量静态页面。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常方便。 Scrapy使 阅读全文
摘要：
pyspider 目录 pyspider简单介绍 pyspider的使用 实战 pyspider简单介绍 一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端， 强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器 官方文档 阅读全文