2020年4月19日
golang实现并发爬虫二（简单调度器）
摘要： 上篇文章当中实现了单任务版爬虫。 那么这篇文章就大概说下，如何在上一个版本中进行升级改造，使之成为一个多任务版本的爬虫。加快我们爬取的速度。 话不多说，先看图： 其实呢，实现方法就是加了一个scheduler的模块，所有的request都由scheduler去交给worker。 另外呢，这里的wor 阅读全文
posted @ 2020-04-19 21:58 公子若不胖天下谁胖 阅读(688) 评论(0) 推荐(0) 编辑