摘要：
twisted的网络使用 twisted的异步使用 一：简单使用 二：模块了解，getPage创建连接，放入select池中，进行计数，在事件循环时依据计数进行关闭（所以执行后自动关闭） 三：Deferred创建一个特殊socket对象，不放人select池，不发送请求，需要我们自己去终止 注意： 阅读全文
摘要：
出处：http://www.cnblogs.com/wupeiqi/ 一：去除重复URL scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重，相关配置有： 下面自定义ULR去重操作：（将原来在spider中的操作分解开来） duplication.py s 阅读全文
摘要：
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。 Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下 各个组件： Scrapy引擎： 是框架核心，用来处理调度整个系统的数据流处理 Sche 阅读全文
摘要：
一：线程池，进程池等相关文章了解 python 基础知识回顾（十）进程和线程（py2中自定义线程池和py3中的线程池使用） python 基础知识回顾（十）进程和线程（协程gevent：线程在I/O请求上的优化） python 异步IO(asyncio)协程 二：异步I/O模块的了解（同协程：线程在 阅读全文
摘要：
1.aiohttp的简单使用(配合asyncio模块) 2.发起一个session请求 除了上面的get方法外，会话还支持post，put,delete....等 不要为每次的连接都创建一次session,一般情况下只需要创建一个session，然后使用这个session执行所有的请求。 每个ses 阅读全文
摘要：
简单了解 在py3中内置了asyncio模块。其编程模型就是一个消息循环。 模块查看： 调用步骤： 简单使用： 1 before func1 2 before func1 1 after func1 2 after func1 5.00528621673584 定义一个协程（不同于上面的实例） D: 阅读全文
摘要：
推文：玩转 Python 3.5 的 await/async 首先看正常的两个函数之间的执行 无法实现两个函数之间的交互。 将这两个函数设置为协程，加上async关键字 那么，为什么要有一个协程对象？代码到底如何执行？ 关键之处是协程确实是与 Python 的生成器非常相似，也都有一个 send 方 阅读全文
摘要：
推文：python 基础知识回顾（七）迭代器和生成器 推文：Python协程深入理解（本文转载于该文章） 从语法上来看，协程和生成器类似，都是定义体中包含yield关键字的函数。yield在协程中的用法： 在协程中yield通常出现在表达式的右边，例如：datum = yield,可以产出值，也可以 阅读全文
摘要：
一：轮询，长轮询，WebSocket了解 轮询： 长轮询： WebSocket： 二：web微信流程介绍 三：微信登录开发 登录视图login，用于显示二维码 check_login用于检测登录状态：408未扫描，201扫描二维码但是未登录，200点击登录 ''' 新请求 GET 获取跳转地址red 阅读全文
摘要：
Requests：是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库，其在Python内置模块的基础上进行了高度的封装，从而使得Pythoner进行网络请求时，变得美好了许多，使用Requests可以轻而易举的完成浏览器可有的任何操作。 BeautifulSoup 阅读全文