Python爬虫-- Scrapy框架

Scrapy框架

Scrapy使用了Twisted作为框架，Twisted有些特殊的地方是它是事件驱动的，并且比较适合异步的代码。对于会阻塞线程的操作包含访问文件、数据库或者Web、产生新的进程并需要处理新进程的输出(如运行shell命令)、执行系统层次操作的代码(如等待系统队列),Twisted提供了允许执行上面的操作但不会阻塞代码执行的方法。

 

点击Scrapy框架，快速上手Python Scrapy框架的操作使用

posted @ 2017-07-26 08:13  Wilson_Blogs  阅读(152)  评论(0)  编辑  收藏  举报