数据算法 --hadoop/spark数据处理技巧 --(17.小文件问题 18.MapReuce的大容量缓存)

十七。小文件问题

  

  

 

  

  

  

  

  

  

  

  

 

 

十八。MR的大容量缓存

  在MR中使用和读取大容量缓存,(也就是说,可能包括数十亿键值对,而无法放在一个商用服务器的内存中)。本次提出的算法通用,可以在任何MR范式中使用。(eg:MR,Spark)

   

  

 

   

    

    

    

 

posted @ 2019-08-23 15:42  _Meditation  阅读(214)  评论(0编辑  收藏  举报