随笔分类 -  爬虫

[原创]一款基于Reactor线程模型的java网络爬虫框架
摘要：AJSprider " " github: https://github.com/zhuchangwu/AJSpider 概述 AJSprider是笔者基于Reactor线程模式+Jsoup+HttpClient封装的一款轻量级java多线程网络爬虫框架,简单上手,小白也能玩爬虫, 使用本框架,只需 阅读全文
posted @ 2019-07-30 12:31 赐我白日梦 阅读(856) 评论(0) 推荐(0) 编辑
一只垂直的小爬虫
摘要：这只垂直的小爬虫,使用如下实现 HttpClient "点击进入官方文档" Jsoup "点击进入官方文档" 多线程 jdbc <! more 实现的思路很简单,我从主函数开始简单叙述一下整个运行流程, 第一步 :收集需要爬取的url地址,容器我选择的是 ConcurrentLinkedQueue 阅读全文
posted @ 2019-07-08 13:13 赐我白日梦 阅读(285) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
主题色彩