摘要: 测试结果 阅读全文
posted @ 2018-06-17 18:15 AndRew-A 阅读(240) 评论(0) 推荐(0) 编辑
摘要: 多线程是否成倍增加效率 如果是CPU密集型的,每个线程执行一下,相当于单线程再跑,io切换浪费时间如果是IO密集型的,比如发送一个请求,等待服务器返回的时候,再次发送下一条url请求,这样在时间上复用了,效率也就提高了如果想利用cpu好python的,可以采用多进程,concurrent.futur 阅读全文
posted @ 2018-06-09 22:47 AndRew-A 阅读(158) 评论(0) 推荐(0) 编辑
摘要: 源码分析 核心组件 Scrapy有以下几大组件: 除此之外,还有两大中间件组件: 执行流程: 入口 __main__.py——〉execute(项目、运行环境的设置,解析命令,初始化CrawlerProcess,执行run函数) http://kaito-kidd.com/2016/11/01/sc 阅读全文
posted @ 2018-06-06 17:21 AndRew-A 阅读(460) 评论(0) 推荐(0) 编辑
摘要: 示例一 示例二 示例三 示例四 #!/usr/bin/env python # -*- coding:utf-8 -*- from twisted.internet import defer from twisted.web.client import getPage from twisted.in 阅读全文
posted @ 2018-05-19 15:34 AndRew-A 阅读(192) 评论(1) 推荐(0) 编辑
摘要: 出处 https://blog.csdn.net/Appleyk/article/details/77609114 一、什么是偏函数? (1)在Python的functools模块众多的功能中,其中有一个就是偏函数,我们称之为 partial function 模块的概念我们下一篇在细讲。 (2)我 阅读全文
posted @ 2018-05-07 17:16 AndRew-A 阅读(6319) 评论(0) 推荐(1) 编辑
摘要: RedisSessionInterface源码分析 先了解下 请求到来之前,获取session的方式 请求到来之前通过RequestContex 获取session, 由下图看出,open_session 调用session_interface,而session_interface,是SecureC 阅读全文
posted @ 2018-04-29 23:35 AndRew-A 阅读(1652) 评论(0) 推荐(0) 编辑
摘要: 导入restful 的API 如上所示,APIView继承View,且重些dispath,as_view方法 看下View中的as_view 由于APIView继承了View的as_view, as_view在执行的过程中,调用自身的dispatch方法。而APIView 自身又重写了dispatc 阅读全文
posted @ 2018-04-08 20:57 AndRew-A 阅读(575) 评论(0) 推荐(0) 编辑
摘要: 概述 可调用对象的高阶函数和操作 functools模块用于高阶函数:作用于或返回其他函数的函数。一般来说,对于这个模块,任何可调用对象都可以被视为函数。 functools 模块定义了以下函数︰ 将旧风格的比较函数转换为key函数。用于接受key函数的工具(例如sorted(),min(),max 阅读全文
posted @ 2018-04-01 11:19 AndRew-A 阅读(286) 评论(0) 推荐(0) 编辑
摘要: filter 说明: 对sequence中的item依次执行function(item),将执行结果为True(!=0)的item组成一个List/String/Tuple(取决于sequence的类型)返回,False则退出(0),进行过滤。 例子 filter()函数接收一个函数 f 和一个li 阅读全文
posted @ 2018-03-28 22:22 AndRew-A 阅读(267) 评论(0) 推荐(0) 编辑
摘要: python的变量及其存储 高级语言中 变量的本质:采用引用语义定义方式,对内存及其地址的抽象 Python 一切接对象 变量存储特点:存储变量值所在内存地址,不是变量值本身 引用语义:在python中,变量保存的是对象(值)的引用,我们称为引用语义。采用这种方式,变量所需的存储空间大小一致,因为变 阅读全文
posted @ 2018-03-28 21:37 AndRew-A 阅读(240) 评论(0) 推荐(0) 编辑