2017年10月3日
爬取淘女郎模特个人信息数据和写真
摘要： 趁着国庆节有时间，帮人写了个爬取淘女郎模特动态加载的图片的爬虫，还有爬取模特们的个人信息数据，这个爬虫花了3天时间，因为图片是异步加载的所以爬取的复杂度有点大，最终我通过研究URL的变化，构造新的URL来进行持续性爬取，不过爬取速度真心慢（查看了cpu的利用率还有很多没有利用到），我准备把多线程加进去说实话不太好加，有点头大， 1 # -*- coding: utf-8 -*- 2 im... 阅读全文
posted @ 2017-10-03 17:52 双鱼男-huangsh 阅读(1173) 评论(0) 推荐(0) 编辑