张亮的博客园

联系方式:131280660812 微信号：131280660812 邮箱：1796969389@qq.com qq号：1796969389

2019年5月14日

SpringBoot和VW-Crawler抓取csdn的文章

摘要： 一：工程介绍 使用Springboot做架构，redis做数据存储，vw-crawler做爬虫模块抓取csdn的文章，pom配置如下： redis相关配置 redis操作封装 二：爬虫操作 1：页面模型，cssSelector定位数据 2：配置请求头、爬虫线程数、超时时间等等，并实现CrawlerS 阅读全文

posted @ 2019-05-14 15:42 张亮13128600812 阅读(206) 评论(0) 推荐(0) 编辑