Node.js基础入门第六天
经过前面五天的学习,对Node.js开发已经逐渐入门,今天结合之前学到的东西,开发一个小示例【爬取某图片网站的图片】,仅供学习分享使用,如有不足之处,还请指正。
涉及知识点
开发一个小爬虫,涉及的知识点如下所示:
- https模块,主要是用户获取网络资源,如:网页源码,图片资源等。
- cheerio模块,主要用于解析html源码,并可访问,查找html节点内容。
- fs模块,主要用于文件的读写操作,如保存图片,日志等。
- 闭包,主要是对于异步操作,对象的隔离保护。
cheerio简介
什么是cheerio ?
cheerio是为服务器特别定制的,快速、灵活、实施的jQuery核心实现。主要用于在服务端解析html。特点如下所示:
- 易用,语法类似jQuery语法,从jQuery库中去除了所有 DOM不一致性和浏览器尴尬的部分。
- 解析快,比JSDOM快八倍。
- 灵活,Cheerio 封装了兼容的htmlparser。Cheerio 几乎能够解析任何的 HTML 和 XML document。
安装cheerio
首先在命令行,切换到程序目录,然后输入安装命令进行安装,如下所示:
1 cnpm install cheerio
安装过程,如下所示:
准备工作
在编写爬虫之前,首先需要分析目标内容,本次需要爬取的是某网站,星空类型的图片内容,经过分析,发现所有的图片都是在ul下每一个li中的a标签内的img中,本次只需要解析出img的src属性,即可获取图片的下载路径。如下所示:
核心代码
经过以上分析,通过Node.js编写代码,分为两步,获取所有图片的url路径,即解析所有目标img元素的src属性。然后再下载具体图片进行保存即可。
引用所需要的功能模块,如下所示:
1 var https = require('https'); 2 var cheerio = require('cheerio'); 3 var fs = require('fs');
获取并解析html页面内容,如下所示:
1 //爬取的网址 2 var addrs=['https://www.*****.com/topic/show_27202_1.html','https://www.******.com/topic/show_27202_2.html','https://www.*****.com/topic/show_27202_3.html']; 3 var logger = fs.createWriteStream('./download/log.txt',{flags:'a+',autoClose:'true'}); 4 5 for(i in addrs){ 6 (function(num){ 7 var addr = addrs[num]; 8 //创建目录 9 var p1 = new Promise(function(resolve,reject){ 10 fs.access('./download',function(err){ 11 if(err){ 12 fs.mkdir('./download',function(e){ 13 if(e){ 14 console.log('创建失败'); 15 } 16 }); 17 }else{ 18 resolve("success"); 19 } 20 }); 21 }); 22 23 p1.then(function(datas){ 24 var html=''; 25 var p2 = new Promise(function(resolve,reject){ 26 https.get(addr,function(res){ 27 res.on('data',function(data){ 28 html+=data.toString(); 29 }) 30 res.on('end',function(){ 31 resolve("success"); 32 }); 33 34 }); 35 36 }); 37 p2.then(function(data){ 38 //下载完成后,进行解析 39 const $ =cheerio.load(html); 40 var lis = $('#img-list-outer').find('li'); 41 for(var j=0;j<lis.length-1;j++){ 42 var li = lis[j]; 43 var src =$(li).find('a').find('img').attr('src'); 44 //console.log(src); 45 //console.log('-------------------------'); 46 var imgurl='https:'+src; 47 download(imgurl); 48 var msg='['+j+']下载成功:'+imgurl; 49 logger.write(msg+'\n'); 50 console.log(msg); 51 } 52 }); 53 }); 54 })(i); 55 }
注意:因为所有爬取的目标共分为3页,所以用到了循环,并且在循环中用到了闭包。
下载并保存单张图片代码,如下所示:
1 //下载图片 2 function download(imgurl){ 3 var p1 = new Promise(function(resolve,reject){ 4 https.get(imgurl,function(res){ 5 var imgName=imgurl.substr(imgurl.lastIndexOf('/')+1); 6 var stream = fs.createWriteStream('./download/'+imgName); 7 res.pipe(stream); 8 setTimeout(function(){ 9 resolve('success'); 10 },300); 11 12 }); 13 }); 14 p1.then(function(data){ 15 return; 16 }); 17 }
示例截图
开发完成后,运行代码,如下所示:
爬取的图片,保存在文件夹中,如下所示:
注意:添加日志,是为了方便记录程序执行过程,对比图片和日志,便于发现问题。
备注
学而时习之,不亦说乎?有朋自远方来,不亦乐乎?人不知而不愠,不亦君子乎?
作者:老码识途
出处:http://www.cnblogs.com/hsiang/
本文版权归作者和博客园共有,写文不易,支持原创,欢迎转载【点赞】,转载请保留此段声明,且在文章页面明显位置给出原文连接,谢谢。
关注个人公众号,定时同步更新技术及职场文章