摘要: 给定一个整数数组和一个目标值,找出数组中和为目标值的两个数。你可以假设每个输入只对应一种答案,且同样的元素不能被重复利用。 示例: 给定 nums = [2, 7, 11, 15], target = 9 因为 nums[0] + nums[1] = 2 + 7 = 9 所以返回 [0, 1] 代码 阅读全文
posted @ 2019-02-19 00:18 wgyang2016 阅读(2504) 评论(2) 推荐(0) 编辑
摘要: 1.安装必要的包 nfs utils rpcbind (nfs是基于sun公司的rpc通信实现的,所以要装rpcbind) 这2包,在服务端和客户端都需要安装,并启动服务。 启动 service rpcbind start service nfs start (顺序不能变,nfs依存rpc,所以先启 阅读全文
posted @ 2019-02-19 00:15 wgyang2016 阅读(13934) 评论(0) 推荐(0) 编辑
摘要: Partitioner的作用的对Mapper产生的中间结果进行分片,以便将同一分组的数据交给同一个Reduce处理,Partitioner直接影响Reduce阶段的负载均衡。 MapReduce提供了两个Partitioner实现:HashPartitioner和TotalOederPartitio 阅读全文
posted @ 2019-02-19 00:12 wgyang2016 阅读(325) 评论(0) 推荐(0) 编辑
摘要: FileOutputFormat类继承OutputFormat,需要提供所有基于文件的OutputFormat实现的公共功能,主要有以下两点: (1)实现checkOutputSpecs方法 checkOutputSpecs方法一般在作业被提交到JobTracker之前,由JobClient自动调用 阅读全文
posted @ 2019-02-19 00:09 wgyang2016 阅读(369) 评论(0) 推荐(0) 编辑
摘要: 文件切分算法 文件切分算法主要用于确定InputSplit的个数以及每个InputSplit对应的数据段。 FileInputFormat以文件为单位切分成InputSplit。对于每个文件,由以下三个属性值确定其对应的InputSplit的个数。 goalSize:根据用户期望的InputSpli 阅读全文
posted @ 2019-02-19 00:07 wgyang2016 阅读(460) 评论(0) 推荐(0) 编辑