2017年3月26日
一个简易的Python全站抓取系统
摘要： 很长时间没有更新博客了，前一阵时间在做项目，里面有一个爬虫系统，然后就从里面整理了一点代码做成了一个简易的爬虫系统，还挺实用的。 简单说来，这个爬虫系统的功能就是：给定初始的链接池，然后设定一些参数，它就会自动开始抓取。 抓取采用的是宽度优先搜索，可以设定最大抓取深度、最多抓取的网页个数、站内抓取还 阅读全文
posted @ 2017-03-26 19:53 lvmememe 阅读(1702) 评论(0) 推荐(0) 编辑