2015年5月16日
《自己动手写网络爬虫》读书笔记——宽度优先爬虫和带偏好的爬虫
摘要： 前面只是获取了单个网页内容，在实际中，则使用爬虫程序遍历互联网，把网络中相关的网页全部抓取过来，这也体现了爬虫程序“爬”的概念。 互联网可以看成一个超级大的“图'，而每个网页则可以看作是一个”节点“。页面中的链接可以看成是图的”有向边“。因此，可以通过图的遍历的方式对互联网这个”图“进行访问。... 阅读全文
posted @ 2015-05-16 23:27 边军一小兵 阅读(664) 评论(0) 推荐(0) 编辑