bigBenn

摘要： 使用代理池跑爬虫时，特别关注每个请求是否使用了代理，所以就有了接下来的收获，也有个问题同大家分享。 spider产生请求，例如在for循环中yield，这个生成器会在进入middlewares或下载器之前就被迭代，放入请求队列。 经过middlewares，队列中每个请求均被处理（如设置cookie 阅读全文

摘要： 官方文档： https://scrapyrt.readthedocs.io/en/latest/api.html#scrapyrt-http-api scrapyrt为scrapy提供了一个调度的http接口，通过请求http接口即可调用scrapy任务，不需要借助命令行来启动项目。例如项目放在远程 阅读全文

摘要： 我第一次接触元类编程就是看的这个例子，看完必须懂。 阅读全文

摘要： 本文主要说明如何使用type来创建类，并添加类属性、方法。 type实则是python内建元类，用来创建 类，当我们用class 定义一个类时，python后台是在用type创建该类。 了解type的两种用法 创建A类，具有A.addr属性 定义一个函数，作为类方法的引用 创建B类，继承A，属性中添 阅读全文

摘要： 本文旨在说明 父类、子类、子类实例的属性继承关系： 阅读全文