摘要：
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。下面一系列文章将对爬虫技术做详细的介绍，希望大家最终能够做出自己喜爱的爬虫。网络爬虫技术随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，百度,Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性。搜索引擎中网络爬虫的设计分析下面简单介绍一下搜索引擎的机器爬虫的制作和一些基本要注意的事项。说的简单易懂 阅读全文
