摘要: 1.安装必要的包 nfs utils rpcbind (nfs是基于sun公司的rpc通信实现的,所以要装rpcbind) 这2包,在服务端和客户端都需要安装,并启动服务。 启动 service rpcbind start service nfs start (顺序不能变,nfs依存rpc,所以先启 阅读全文
posted @ 2019-02-19 00:15 wgyang2016 阅读(13934) 评论(0) 推荐(0) 编辑
摘要: Partitioner的作用的对Mapper产生的中间结果进行分片,以便将同一分组的数据交给同一个Reduce处理,Partitioner直接影响Reduce阶段的负载均衡。 MapReduce提供了两个Partitioner实现:HashPartitioner和TotalOederPartitio 阅读全文
posted @ 2019-02-19 00:12 wgyang2016 阅读(325) 评论(0) 推荐(0) 编辑
摘要: FileOutputFormat类继承OutputFormat,需要提供所有基于文件的OutputFormat实现的公共功能,主要有以下两点: (1)实现checkOutputSpecs方法 checkOutputSpecs方法一般在作业被提交到JobTracker之前,由JobClient自动调用 阅读全文
posted @ 2019-02-19 00:09 wgyang2016 阅读(369) 评论(0) 推荐(0) 编辑
摘要: 文件切分算法 文件切分算法主要用于确定InputSplit的个数以及每个InputSplit对应的数据段。 FileInputFormat以文件为单位切分成InputSplit。对于每个文件,由以下三个属性值确定其对应的InputSplit的个数。 goalSize:根据用户期望的InputSpli 阅读全文
posted @ 2019-02-19 00:07 wgyang2016 阅读(460) 评论(0) 推荐(0) 编辑
摘要: 给定两个非空链表来表示两个非负整数。位数按照逆序方式存储,它们的每个节点只存储单个数字。将两数相加返回一个新的链表。 你可以假设除了数字 0 之外,这两个数字都不会以零开头。 示例: 输入:(2 -> 4 -> 3) + (5 -> 6 -> 4) 输出:7 -> 0 -> 8 原因:342 + 4 阅读全文
posted @ 2019-02-18 21:07 wgyang2016 阅读(963) 评论(0) 推荐(0) 编辑