一个简易的Python全站抓取系统
很长时间没有更新博客了，前一阵时间在做项目，里面有一个爬虫系统，然后就从里面整理了一点代码做成了一个简易的爬虫系统，还挺实用的。
简单说来，这个爬虫系统的功能就是：给定初始的链接池，然后设定一些参数，它就会自动开始抓取。
抓取采用的是宽度优先搜索，可以设定最大抓取深度、最多抓取的网页个数、站内抓取还是全网抓取。
很长时间没有更新博客了，前一阵时间在做项目，里面有一个爬虫系统，然后就从里面整理了一点代码做成了一个简易的爬虫系统，还挺实用的。
简单说来，这个爬虫系统的功能就是：给定初始的链接池，然后设定一些参数，它就会自动开始抓取。
抓取采用的是宽度优先搜索，可以设定最大抓取深度、最多抓取的网页个数、站内抓取还是全网抓取。
