2014年5月1日
高性能爬虫为什么使用定制DNS客户端？
摘要： DNS 解析是高性能网络爬虫的瓶颈，主要是因为：1. 由于域名服务的分布式的特性，DNS解析可能需要多次的请求转发，有时需要几秒甚至更长的时间来解析出相应的IP 地址。2. 现有的标准库对DNS解析的实现是同步的。JAVA中InetAddress.getByName是线程阻塞的。并且JAVA中实现的... 阅读全文
posted @ 2014-05-01 21:58 cruze_lee 阅读(1155) 评论(0) 推荐(0) 编辑