2017年6月18日

python 爬虫 学习笔记(一)Scrapy框架入门

摘要: 沉迷于通过高效算法及经典数据结构来优化程序的时候并不理解,为什么多线程可以优化爬虫运行速度?原来是程序特性所决定的:传统算法的程序复杂度主要来源于计算,但网络程序的计算时间可以忽略不计,网络程序所面临的挑战打开很多很慢的链接,或者说,是如何有效的等待大量网络事件。 (1)简单的socket爬虫: 直 阅读全文

posted @ 2017-06-18 21:13 此剑之势愈斩愈烈 阅读(596) 评论(0) 推荐(0) 编辑

导航