随笔分类 -  Spider

利用webmagic获取天猫评论
摘要："引言" "爬取商品信息" "爬取商品评论" "数据清洗" 1. 引言 现代网页往往其HTML只有基本结构，而数据是通过AJAX或其他方法获取后填充，这样的模式对爬虫有一定阻碍，但是熟练以后获取并不困难，本文以爬取天猫评论为例简单讲讲动态获取以及自定义Pipeline进行数据清洗的过程。 2. 爬取 阅读全文
posted @ 2017-06-25 13:47 CieloSun 阅读(696) 评论(0) 推荐(0) 编辑
使用Selenium对新浪微博模拟登录
摘要："Selenium的配置" "在项目中引入Selenium库" "下载chromedriver.exe" "在项目代码中加入chromedriver位置的配置" "使用Selenium" "Selenim语法" "智能等待" "隐式等待" "显式等待" "模拟登陆并获取Cookie的代码" 1. S 阅读全文
posted @ 2017-06-22 14:51 CieloSun 阅读(3588) 评论(0) 推荐(0) 编辑
使用webmagic编写Java爬虫获取博客园文章内容
摘要："先导知识" "官方教程" "简单爬虫编写" "Maven配置" "第一个爬虫：博客园" "特别注意" 无意中发现了这个框架，真正的传说中的傻瓜爬虫框架，用来写简单爬虫很方便，也能够通过多写一些代码写复杂爬虫，作者是中国人，看文档就能学会这个框架的使用，我这里简单的用cnblogs举例介绍一下这个框 阅读全文
posted @ 2017-05-10 00:40 CieloSun 阅读(3240) 评论(2) 推荐(1) 编辑

点击右上角即可分享
微信分享提示