2018年4月11日
爬虫中多线程的运用
摘要： 检索百张的页面，爬虫运行下来往往在一小时以内，时间上还是可以接受的。但当整理后的URL数量过多的时候，就只能考虑采取多线程分步爬取了。Python里控制多线程只需要用到模板threading，而且只需要用到其中的Thread。 简单的使用方法如下： 可以看到五个线程同步运行，因sleep设置的时间相 阅读全文
posted @ 2018-04-11 20:43 Geek_Arking 阅读(3324) 评论(0) 推荐(0) 编辑