2019年1月5日
多线程爬取图片（生产者-消费者模式）
摘要： 通过生产者-消费者模式实现多线程爬取图片： 1、生产者通过不断爬取网页中图片的url存入图片队列中 2、消费者通过图片队列中的url爬取图片并下载到本地 3、多线程的方式，爬取与下载同时进行，直到子线程结束，输出爬取时间 阅读全文
posted @ 2019-01-05 16:21 风云傲天 阅读(348) 评论(0) 推荐(0) 编辑