摘要： 1.Twisted是用Python实现的基于事件驱动的网络引擎框架。 事件驱动编程是一种编程范式，这里程序的执行流由外部事件来决定。它的特点是包含一个事件循环，当外部事件发生时使用回调机制来触发相应的处理。另外两种常见的编程范式是（单线程）同步以及多线程编程。 from twisted.intern 阅读全文

摘要： Scrapy不是一个函数功能库，而是一个爬虫框架。爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫。 1.scrapy爬虫框架结构 数据流向步骤1： 1 Engine从Spider处获得爬取请求(Request)2 Engine将爬取请求转发给S 阅读全文