会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
~(',D)=I一<
博客园
|
首页
|
新随笔
|
新文章
|
联系
|
订阅
|
管理
2020年2月16日
Hadoop基础【1.2】 InputFormat
摘要: hadoop虽然内置了很多个inputFormat但是,有时候还是不满足我们的一些需求,所以我们需要重写一个类,来实现我们对数据的读取。 public abstract class InputFormat<K, V> { public InputFormat() { } public abstrac
阅读全文
posted @ 2020-02-16 22:18 星不予
阅读(209)
评论(0)
推荐(0)
编辑
Hadoop基础【1.1】 Writeable
摘要: MapReduce由于最耗时的是落盘与通信,所以采用了自定的Writeable的序列化反序列化(在结构化对象与二进制流之间的转换以便于节点通信:压缩过,使得节点之间带宽占用较少,可以快速读写),在Mapper Reducer里头常用的比如LongWriteable Text等等。我们根据不同的需求,
阅读全文
posted @ 2020-02-16 17:19 星不予
阅读(442)
评论(0)
推荐(0)
编辑
Hadoop基础【1】
摘要: Apache Hadoop,一个稳定 可扩展的分布式计算开源软件。尽管Hadoop版本更新快,但大版本仅包括两个(1和2),Hadoop2多出一层资源管理器Yarn提高了资源了利用率。 核心模块: Hadoop Common、HDFS、Hadoop YARN、Hadoop MR Hadoop Com
阅读全文
posted @ 2020-02-16 15:30 星不予
阅读(120)
评论(0)
推荐(0)
编辑
公告