王将军之武库

twisted的tcp.py分析

摘要： #每个connector都有一个 Connection对象@implementer(interfaces.ITCPTransport, interfaces.ISystemHandle) class Connection(_TLSConnectionMixin, abstract.FileDescriptor, _SocketCloser, _AbortingM... 阅读全文

posted @ 2018-02-28 22:47 王将军之武库阅读(263) 评论(0) 推荐(0) 编辑

twisted如何生成deferred的

摘要： @implementer(interfaces.IStreamClientEndpoint)class TCP4ClientEndpoint(object): """ TCP client endpoint with an IPv4 configuration. """ def __init__(s 阅读全文

posted @ 2018-02-28 18:06 王将军之武库阅读(143) 评论(0) 推荐(0) 编辑

scrapy中deferred的回调

摘要： def _next_request_from_scheduler(self, spider):#在引擎中处理一个请求 slot = self.slot request = slot.scheduler.next_request() if not request: return d = self._downlo... 阅读全文

posted @ 2018-02-28 16:15 王将军之武库阅读(1358) 评论(0) 推荐(0) 编辑

twisted reactor执行流程

摘要： #reactorbase的主循环 def mainLoop(self): while self._started: try: while self._started: # Advance simulation time in delayed event ... 阅读全文

posted @ 2018-02-28 15:44 王将军之武库阅读(283) 评论(0) 推荐(0) 编辑

twisted reactor分析

摘要：调用reactor.run()，就会调用到mainloop函数，从而调用到select或epoll，监控fd的读写。 posixbase.py: factory类负责connect的管理，比如connect的建立、丢失、失败等，procotol是负责数据的接收。重要结论：调用阅读全文

posted @ 2018-02-27 23:07 王将军之武库阅读(285) 评论(0) 推荐(0) 编辑

twisted的installReactor()函数

摘要： reactor的选择，不同平台会选择不同的reactor，比如linux会选epollreactor，从internet导入reactor.py时，执行下面代码调用default.install()时就安装了reactor 阅读全文

posted @ 2018-02-27 18:38 王将军之武库阅读(226) 评论(0) 推荐(0) 编辑

转载：用Source Insight中看Python代码

摘要：在Source Insight中看Python代码 http://blog.csdn.net/lvming404/archive/2009/03/18/4000394.aspx SI是个很强大的代码查看修改工具，以前用来看C，C++都是相当happy的。最近需要用Python，看了两天毫无颜色的Ul 阅读全文

posted @ 2018-02-27 17:39 王将军之武库阅读(429) 评论(0) 推荐(0) 编辑

scrapy工作原理探秘

摘要：每个请求对象的延迟对象经过_handle_downloader_output处理后，又会返回一个延迟对象。 engine的crawl函数 reactor.callLater(delay, self)通过timer触发deferred对象的callback。阅读全文

posted @ 2018-02-26 23:21 王将军之武库阅读(328) 评论(0) 推荐(0) 编辑

python 生成器的send

摘要：没有return语句的函数的返回值：阅读全文

posted @ 2018-02-26 18:08 王将军之武库阅读(133) 评论(0) 推荐(0) 编辑

twisted之Deferred类的分析

摘要： @_oldStyle class Deferred: called = False#类变量，在实例中引用时会自动在实例中生成 paused = False _debugInfo = None _suppressAlreadyCalled = False # Are we currently running a user-installed c... 阅读全文

posted @ 2018-02-26 17:57 王将军之武库阅读(466) 评论(0) 推荐(0) 编辑