nodejs使用superagent写爬虫dns超时

nnodejs使用superagent写爬虫,在执行一段时间之后全部抛出异常 EAI_AGAIN,查询错误代码 DNS lookup time out,主要是因为nodejs不缓存DNS信息,每发出一个请求都要先去DNS服务器磨叽一段时间,既浪费时间,并且短时间到高并发访问DNS服务器就会悲剧了,解决方法:

const res = await superagent.get('https://abc.com').connect({
   'abc.com':'123.123.123.123'     //该域名的IP地址
})

 

posted @ 2019-08-27 09:36  挨踢屌丝  阅读(426)  评论(0编辑  收藏  举报