摘要：
1 Dowloader Middeware class DownMiddleware1(object): def process_request(self, request, spider): """ 请求需要被下载时，经过所有下载器中间件的process_request调用 :param requ 阅读全文
摘要：
https://docs.scrapy.org/en/latest/topics/selectors.html 阅读全文
摘要：
1、介绍 2、Spiders会循环做如下事情 3、Spiders总共提供了五种类： 4、导入使用 5、class scrapy.spiders.Spider 这是最简单的spider类，任何其他的spider类都需要继承它（包含你自己定义的）。 该类不提供任何特殊的功能，它仅提供了一个默认的star 阅读全文
摘要：
一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文
摘要：
一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现文档导航,查找,修改文档的方式，Beautiful Soup会帮你节省数小时甚至数天的工作时间，你可能在寻找 Beautiful Soup3 的文档,Beautiful S 阅读全文