##

摘要： 我们可以把互联网比作一张大网，而爬虫（网络爬虫）便是网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到这里就相当于访问了该页面，获取了其信息。可以把节点间的连线比作网页与网页间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节 阅读全文