2015年12月28日

使用python爬虫抓站的一些技巧总结:进阶篇

摘要: Reference:http://python.jobbole.com/82000/一、gzip/deflate支持现在的网页普遍支持gzip压缩,这往往可以解决大量传输时间,以VeryCD的主页为例,未压缩版本247K,压缩了以后45K,为原来的1/5。这就意味着抓取速度会快5倍。然而python... 阅读全文

posted @ 2015-12-28 16:59 alex.shu 阅读(351) 评论(0) 推荐(0) 编辑

导航