mapreduce执行job打印的日志聚合
摘要：
如果两个reduce分别在两台机器上运行,各自产生的日志,都保存在各自的机器上， 所以要看完整地日志必须开启日志聚合功能yarn-site.xml更改设置 阅读全文
posted @ 2020-03-28 17:14 $王大少 阅读(295) 评论(0) 推荐(0) 编辑
2020年3月28日 #
2020年3月27日 #
String类型的数值转Int类型
摘要：
用Integer.parseInt(str) 阅读全文
posted @ 2020-03-27 20:08 $王大少 阅读(321) 评论(0) 推荐(0) 编辑
mapreduce分区
摘要：
MapReduce当中的分区：相同key的数据发送到同一个reduce当中去物以类聚，人以群分。分区就是把同一类的数据，划分到一个地方去，划分到同一个reduce当中去直达的火车，上面坐的人都是去同一个地方的默认使用的是HashPartitioner 这个类来对我们的数据进行分区，实现将相同的数据， 阅读全文
posted @ 2020-03-27 20:06 $王大少 阅读(269) 评论(0) 推荐(0) 编辑
LongWritable和Long的转换
摘要：
LongWritable转Long Long l =key.get() Long转LongWritable LongWritable lw = new LongWritable(1000000) 阅读全文
posted @ 2020-03-27 13:57 $王大少 阅读(1003) 评论(0) 推荐(0) 编辑
String类型和Text类型相互转化
摘要：
Text类型转String 例子:String s=value.toString() String类型转Text类型 例子:Text text = new Text("hello") 阅读全文
posted @ 2020-03-27 13:54 $王大少 阅读(6721) 评论(0) 推荐(0) 编辑
mapreduce入门和编程步骤
摘要：
1、理解MapReduce思想 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。 Map负责“分”，即把复杂的 阅读全文
posted @ 2020-03-27 11:56 $王大少 阅读(1027) 评论(0) 推荐(0) 编辑
hdfs小文件合并
摘要：
由于hadoop擅长存储大文件，因为大文件的元数据信息比较少，如果hadoop集群当中有大量的小文件，那么每个小文件都需要维护一份元数据信息，会大大的增加集群管理元数据的内存压力，所以在实际工作当中，如果有必要一定要将小文件合并成大文件进行一起处理。 在我们的hdfs 的shell命令模式下，可以通 阅读全文
posted @ 2020-03-27 11:28 $王大少 阅读(2995) 评论(0) 推荐(0) 编辑
如何给hdfs设置权限
摘要：
1、将hdfs的权限打开，修改hdfs-site.xml（所有机器都要改）2、更改完成之后，hdfs集群要重启 阅读全文
posted @ 2020-03-27 10:17 $王大少 阅读(2321) 评论(0) 推荐(0) 编辑
2020年3月26日 #
操作hdfs的数据,出现winUtils.exe错误的时候解决方案
摘要：
第一步：解压hadoop-2.6.0-cdh5.14.0.zip第二步：放到一个没有中文，没有空格的路径下面去第三步：配置windows的HADOOP_HOME环境变量第四步：将hadoop.dll文件放置到C:\Windows\System32里面去第五步：关机重启 阅读全文
posted @ 2020-03-26 21:49 $王大少 阅读(274) 评论(0) 推荐(0) 编辑
idea中一些快捷键
摘要：
ctrl+shit T 查找类ctrl+T 查找实现类ctrl+O 查看实现的方法 阅读全文
posted @ 2020-03-26 20:59 $王大少 阅读(66) 评论(0) 推荐(0) 编辑