2013年9月17日
自己做一个网页爬虫用来抓取一个网站的地址
摘要： 以前做过全文检索加网页爬虫，针对的是整个因特网，不过，用的开源的网页抓取工具，hreitrix，研究其源码，但也只是稍微修改了部分源码，以达到业务需要，不过，后面，因为项目停了，这个工作我也就搁置了，后面自己单独写了个类似原理的爬虫，当然，我写的这个简单的很，代码也没有写规范。 现在有个任务，需要将整个湖南省的所有区域写入数据库中，我就将原来的写的一个爬虫工具拿出来，修改了一下，刚... 阅读全文
posted @ 2013-09-17 13:17 wxwall 阅读(1320) 评论(0) 推荐(0) 编辑