2019年7月19日
Java微博爬虫-每日百万数据
摘要： 没写过爬虫，赶鸭子上架，公司里有个老代码，我就拿来参考，边看边写3周后，把整个代码大换血，实现了单日单程序百万的爬取量。 使用springboot + JDK1.8 + mysql + redis。 主要有 关键词爬取、redis队列、多线程爬取程序 三部分。 一、关键词的爬取： 我用的是在微博搜索 阅读全文
posted @ 2019-07-19 16:33 九零后大辰辰 阅读(2214) 评论(1) 推荐(1) 编辑