摘要： 分布式网络爬虫的研究与实现摘 要 随着互联网的高速发展，在互联网搜索服务中，搜索引擎扮演着越来越重要的角色。网络爬虫是搜索引擎系统中十分重要的组成部分，它负责从互联网中搜集网页，这些页面用于建立索引从而为搜索引擎提供支持。面对当前极具膨胀的网络信息，集中式的单机爬虫早已无法适应目前的互联网信息规模，因此高性能的分布式网络爬虫系统成为目前信息采集领域研究的重点。 本文对网络爬虫原理、分布式架构设计以及网络爬虫中的关键模块、瓶颈问题及解决办法进行了相关研究。论文工作主要表现为：1、引入一致性哈希算法，用于解决URL任务分发策略、爬虫主机间负载均衡、单机热点问题，确保分布式爬虫系统具有良好的可扩展性 阅读全文