摘要:
一、YARN产生的背景 MapReduce1.x存在的问题:单点故障&节点压力大不易扩展。 资源利用率&成本 催生了YARN的诞生 不同计算框架可以共享同一个HDFS集群上的数据,享受整体的资源调度。 XXX on YARN的好处:与其他计算框架共享集群资源,按资源需要分配,进而提高集群资源的利用率 阅读全文
摘要:
一、序列化 1 hadoop自定义了数据类型,在hadoop中,所有的key/value类型必须实现Writable接口。有两个方法,一个是write,一个是readFileds。分别用于读(反序列化操作)和写(序列化操作)。 2 所有的key必须实现Comparable接口,在MapReduce过 阅读全文