code前行

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

HDFS 连接获取时注意事项:

使用 FileSystem.get(Configuration conf) 方式来获取 FileSystem,得到的将是一个单利对象。 该方式默认从缓存中取出一个连接。在多线程环境下可能造成 FileSystem 异常

使用 FileSystem.newInstance(Configuration conf) 方式,每次都会返回一个新的连接对象。多线程场景推荐使用该方式。

 

具体分析转载自:http://note4code.com/2018/04/19/hdfs-api-%E5%90%8E%E8%AE%B0%E5%85%B3%E4%BA%8E-filesystem-%E7%BC%93%E5%AD%98/

 

posted on 2019-08-16 10:30  code前行  阅读(312)  评论(0编辑  收藏  举报