摘要：
Tornado框架中，默认执行Handler的get/post等方法之前默认会执行 initialize方法，所以可以通过自定义的方式使得所有请求在处理前执行操作 阅读全文
摘要：
路径问题 有项目文件如下，如果 test.py 作为执行文件，在 test.py 里面导入 test1.py 是不行的"import test1.py"，因为 test.py 作为执行文件后，Python解释器会从 test.py的当前路径开始寻找（mypage包下），而不会进入包 mypage2， 阅读全文
摘要：
一、高阶函数 二、函数嵌套 三、装饰器（装饰器=高阶函数+函数嵌套+闭包） 普通装饰器 带参数装饰器 当被修饰函数有返回值的情况 装饰器带参数的情况（装饰函数外面在套一层函数还接收变量） 四、迭代器和生成器 为何要有迭代器？什么是可迭代对象？什么是迭代器对象？ #1、为何要有迭代器？ 对于序列类型： 阅读全文
摘要：
abs() 获取绝对值 all() 参数为可迭代对象.如果迭代对象的所有元素都为真，那么返回True，否则返回False.注意，迭代对象为空时，返回True any() 参数为可迭代对象，只要任一元素为真，则返回真。参数为空时返回True sum() 求和 bin() 将参数转化为二进制 bool( 阅读全文
摘要：
Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下 Scrapy主要包括了以下组件： 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一 阅读全文
摘要：
一、proxies代理 首先需要在环境变量中设置 方式一：使用默认 缺点：原生代理是把代理放在python环境变量里面，也就是要依赖于python环境变量，要用的时候然后再去变量里面搜索，一个个分割字符进行匹配，效率低，low。 方式二：使用自定义下载中间件 def to_bytes(text, e 阅读全文
摘要：
本篇博客将从Twisted的下载任务基本流程开始介绍，然后再一步步过渡到Scrapy框架的基本运行流程，其中还会需要我们自定义一个Low版的Scrapy框架。但内容不会涉及太多具体细节，而且需要注意的是示例代码的运行过程不会Scrapy一模一样，但不影响你对整体的把握。希望可以帮助那些刚入门爬虫或者 阅读全文
摘要：
冒泡排序 另一种方法 时间复杂度 最优时间复杂度：O(n) （表示遍历一次发现没有任何可以交换的元素，排序结束。） 最坏时间复杂度：O(n2) 稳定性：稳定 改进：当传进来的顺序表是有序的时候 选择排序 时间复杂度 最优时间复杂度：O(n2) 最坏时间复杂度：O(n2) 稳定性：不稳定（考虑升序每次 阅读全文
摘要：
一、简介 1.1 概念 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、a 阅读全文
摘要：
多继承以及MRO顺序 1. 单独调用父类的方法 运行结果: 2. 多继承中super调用有所父类的被重写的方法 运行结果： 注意： 调用父类的三种方法：1、类名.xxx(self, 形参)；2、super().xxx(形参)；3、super(类名, self).xxx(形参) 区别： 在多继承中，如 阅读全文