2020年4月18日
golang实现并发爬虫一(单任务版本爬虫功能)
摘要： 目的是写一个golang并发爬虫版本的演化过程。 那么在演化之前，当然是先跑通一下单任务版本的架构。 正如人走路之前是一定要学会爬走一般。 首先看一下单任务版本的爬虫架构，如下： 这是单任务版本爬虫的一个架构： 第一步是将seed送到engine里去。 第二步是将seed里的url给到fetcher 阅读全文
posted @ 2020-04-18 13:54 公子若不胖天下谁胖 阅读(777) 评论(0) 推荐(0) 编辑