node-request

1.安装request模块

cnpm install request --save

 

基本形式

//request(options,callback)

request({
    url: url,//请求路径
    method: "POST",//请求方式，默认为get
    headers: {//设置请求头
        "content-type": "application/json",
    },
    body: JSON.stringify(requestData)//post参数字符串
}, function(error, response, body) {
    if (!error && response.statusCode == 200) {
    }
}); 

1.1简单示例

var request = require('request');
request('https://www.baidu.com', function (error, response, body) {
       console.log(body)//打印百度首页html内容
})

or

request({url:'https://www.baidu.com'}, function (error, response, body) {
       console.log(body)//打印百度首页html内容
})

---

2.结合文件流

进行网络爬虫的时候，有时我们需要保存图片、js、css等文件，request支持文件流

request('https://www.baidu.com/img/bd_logo1.png').pipe(fs.createWriteStream('a.png'))
//抓取百度logo并保存到本地

也可以将文件传给PUT或POST请求，用于文件上传。未提供header的情况下，会检测文件后缀名，在PUT请求中设置相应的content-type。

fs.createReadStream('pic.jpg').pipe(request.put('http://veb.com/upload'))
//读取流pipe上传

---

3.表单上传

request.post('http://service.com/upload', {form:{key:'value'}})

or

request.post('http://service.com/upload').form({key:'value'})

formData形式

var r = request.post('http://veblen.com/upload')
var form = r.form()
form.append('my_field', 'my_value')
form.append('my_buffer', new Buffer([1, 2, 3]))
form.append('my_file', fs.createReadStream(path.join(__dirname, 'doodle.png'))
form.append('remote_file', request('https://www.baidu.com/img/bd_logo1.png'))

附上nodejs重定向（跟request没关系）

res.writeHead(302, {
    'Location': 'https://www.baidu.com'
    //add other headers here...
});
res.end();

结合cheerio爬虫很酷

//npm install cheerio
var  cheerio = require('cheerio');
var  $ = cheerio.load('<ul id="fruits">...</ul>');//jquery 一样的操作

作者：Veb
链接：https://www.jianshu.com/p/b240051784ab
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。