网络爬虫的组成

(1) 网络爬虫由控制节点 、爬虫节点 、资源库组成
(2) 控制节点,也就是爬虫节点的中央控制器,负责调用爬虫节点进行爬取
(3) 爬虫节点会按照相关的算法,对网页进行具体的爬取,爬取后的结果会存储在资源库中

 

 

 

 

 

 

    

posted @ 2019-03-14 15:50  孔雀东南飞  阅读(805)  评论(0编辑  收藏  举报