一个简易的Python全站抓取系统

很长时间没有更新博客了，前一阵时间在做项目，里面有一个爬虫系统，然后就从里面整理了一点代码做成了一个简易的爬虫系统，还挺实用的。

 

简单说来，这个爬虫系统的功能就是：给定初始的链接池，然后设定一些参数，它就会自动开始抓取。

抓取采用的是宽度优先搜索，可以设定最大抓取深度、最多抓取的网页个数、站内抓取还是全网抓取。

 

github地址：https://github.com/1049451037/my_simple_crawler/

posted @ 2017-03-26 19:53  lvmememe  阅读(1681)  评论(0)  编辑  收藏  举报