摘要:
1 select poll epoll的区别 基本上select有3个缺点: 1. 连接数受限 2. 查找配对速度慢 3. 数据由内核拷贝到用户态 poll改善了第一个缺点 epoll改了三个缺点. (1)select,poll实现需要自己不断轮询所有fd集合,直到设备就绪,期间可能要睡眠和唤醒多次 阅读全文
摘要:
爬虫入门之urllib库详解(二) 1 urllib模块 2 urllib读取网页的三种方式 urlopen直接打开 采用User Agent (用户代理,简称UA) 定制header信息 在 HTTP Request 中加入特定的 Header,来构造一个完整的HTTP请求消息。 可以通过调用Re 阅读全文
摘要:
1 python拷贝 深拷贝,浅拷贝 与引用三者的区别 2 python的垃圾回收机制 Python GC主要使用引用计数(reference counting)来跟踪和回收垃圾。在引用计数的基础上,通过“标记 清除”(mark and sweep)解决容器对象可能产生的循环引用问题,通过“分代回收 阅读全文
摘要:
1 爬虫概述 (1)互联网爬虫 (2)核心任务 (3)爬虫语言 (4)爬虫分类 (5)整体框架 2 http协议 (1)常见端口 (2) http工作原理 (3) http常见的状态码 3 抓包工具fiddler (1) 配置https (2) Web Session 面板 主要是Fiddler抓取 阅读全文
摘要:
Python 进程线程协程 GIL 闭包 与高阶函数(五) 1 GIL线程全局锁 线程全局锁(Global Interpreter Lock),即Python为了保证线程安全而采取的独立线程运行的限制,说白了就是一个核只能在同一时间运行一个线程. 对于io密集型任务,python的多线程起到作用 阅读全文
摘要:
1 新式类与旧式类 新式类拥有经典类的全部特性之外,还有一些新的特性,比如 发生变化,新增了静态方法 ,python3目前都采用新式类,新式类是广度优先,旧式类是深度优先 (1)内置的object对象 (2)类的方法 静态方法 类方法 新式类(new style class) : 类的初始化方法 静 阅读全文
摘要:
1 可变长参数与关键字参数 代表任意长度可变参数 代表关键字参数 用 和` kwargs`只是为了方便并没有强制使用它们. 缺省参数 即是调用该函数时, 缺省参数的值若未被传入,则传入默认预设的值 。 注意 : 须将所有带有默认值的参数置于参数列表的 末尾 。 当你不确定你的函数里将要传递多少参数时 阅读全文
摘要:
1 概述 2 ORM 3 定义属性 4 创建模型类: 元选项 5 类属性 6 创建对象 7 模型查询 8 字段查询 9 聚合函数 阅读全文
摘要:
1 总体结构 Django是MTV结构,即:Model, Template, View Model:定义数据的存储格式,并且提供了数据库访问的API。 View:定义那些数据被显示,是业务逻辑处理模块。 Template:定义数据如何被显示。 Django工程包含工程的配置、及多个APP,每个A 阅读全文
摘要:
1 视图views概述 2 django访问过程 3 URL配置 4 视图函数 5 HttpResquest对象 6 HttpResponse对象 7 session状态保持 8 注意事项 阅读全文