爬虫入门(二)用webmagic爬豆瓣豆列的尝试(解决403等常见问题)
webmagic学习资料:http://webmagic.io/docs/
原本爬虫的计划是去扒b站的,结果发现b站是js动态加载的,所以先对豆瓣进行尝试,练一下手.
整个项目核心是DoubanProcessor的这个类,继承了webmagic的PageProcessor
其他是自己实现数据库持久化的.
下面附上DoubanProcessor代码,具体思路在注释里,代码后附上练习中遇到的几个常见问题.
爬的页面是:https://www.douban.com/doulist/3907668/
先来看豆列单项:
再来看豆列的html代码pattern:
1 <div class="post"> 2 <a href="https://movie.douban.com/subject/6080802/" target="_blank"> 3 <img width="100" src="https://img1.doubanio.com/view/subject/l/public/s4695449.jpg"/> 4 </a> 5 </div> 6 <div class="title"> 7 <a href="https://movie.douban.com/subject/6080802/" target="_blank"> 8 今生只爱你 君だけに愛を Love Forever 9 </a> 10 </div> 11 12 <div class="rating"> 13 <span class="allstar00"></span> 14 <span>暂无评分</span> 15 </div> 16 <div class="abstract"> 17 18 导演: 細野英延 / 五木田亮一 19 <br /> 20 主演: 野村宏伸 / 松下由树 21 <br /> 22 类型: 爱情 23 <br /> 24 制片国家/地区: 日本 25 <br /> 26 年份: 1991 27 </div>
以下我的DoubanProcessor实现:
1 public class DoubanProcessor implements PageProcessor{ 2 private Site site = Site.me().setUserAgent("Mozilla/5.0 (Windows NT 10.0; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0").setRetryTimes(3).setSleepTime(1000); 3 4 @Override 5 public void process(Page page) { 6 List<String> titles = page.getHtml().xpath("//div[@class='title']/a/text()").all(); //这是匹配标题 7 List<String> movieUrls = page.getHtml().xpath("//div[@class='post']/a").links().all(); //这是匹配电影url 8 List<String> ratings = page.getHtml().xpath("//div[@class='rating']/span[@class='rating_nums']/text()").all(); //这是匹配评分 9 List<String> attrFields = page.getHtml().xpath("//div[@class='abstract']").all(); //这是匹配下方的abstract标签里的属性项 10 for (int i = 0; i < titles.size(); i++) { //循环存储到数据库 11 DoubanList doubanList=new DoubanList(); 12 doubanList.setTitle(titles.get(i)); 13 doubanList.setMovieUrl(movieUrls.get(i)); 14 doubanList.setRating(ratings.get(i)); 15 String[] movieAttrs = attrFields.get(i).split("<br>"); 16 if(movieAttrs.length>4) { 17 doubanList.setDirector(movieAttrs[0].substring(23).trim()); 18 doubanList.setActor(movieAttrs[1].trim()); 19 doubanList.setType(movieAttrs[2].trim()); 20 doubanList.setTime(movieAttrs[4].substring(0, 9).trim()); 21 }else { 22 doubanList.setDirector(attrFields.get(i)); 23 } 24 DoubanListDao.save(doubanList); 25 } 26 } 27 28 @Override 29 public Site getSite() { 30 return site; 31 } 32 33 public static void main(String[] args) { 34 Spider.create(new DoubanProcessor()) 35 .addUrl("https://www.douban.com/doulist/3907668/") //设置爬的url 36 .addPipeline(new ConsolePipeline()) //会output到控制台...在这里并不需要,因为持久化到数据库了 37 .thread(5) 38 .run(); 39 } 40 }
下面讲讲过程中遇到的问题:
1)403问题:我看了很多博文,发现其实全是互相抄袭.如果尝试的网站不同,你会发现你很容易遇到403问题.也就是返回status code为403,网站拒绝访问.其实原因是我们的工具请求没有携带相应的header,所以我在site里调用setUserAgent去设置了UA,至于UA的参数,是从自己的浏览器直接抓包复制过来的.于是问题解决了.
实际上,访问过快也可能造成403,在一些情况下还需要带cookie/多个IP爬等等.
2)匹配多个的问题:看很多文章的时候,基本都是直接page.getHtml().xpath()然后调用get() 或者toString(),实际上看代码发现,这里只能拿一个数据,而我需要匹配多个,因此要使用all();
Selectable接口注释:
1 /** 2 * multi string result 3 * 4 * @return multi string result 5 */ 6 public List<String> all();
解决了这些问题,其实还有一个问题.
豆瓣的电影格式,会存在没有导演,主演等信息的情况!!!....所以很坑....所以我添加了数组长度判断,防止越界,而且实在电影属性少的时候,就直接存到DB的director字段里.下面是数据库储存概括:
下次开始尝试爬B站!
