String类型的数值转Int类型
摘要：
用Integer.parseInt(str) 阅读全文
posted @ 2020-03-27 20:08 $王大少 阅读(323) 评论(0) 推荐(0) 编辑
2020年3月27日 #
mapreduce分区
摘要：
MapReduce当中的分区：相同key的数据发送到同一个reduce当中去物以类聚，人以群分。分区就是把同一类的数据，划分到一个地方去，划分到同一个reduce当中去直达的火车，上面坐的人都是去同一个地方的默认使用的是HashPartitioner 这个类来对我们的数据进行分区，实现将相同的数据， 阅读全文
posted @ 2020-03-27 20:06 $王大少 阅读(275) 评论(0) 推荐(0) 编辑
LongWritable和Long的转换
摘要：
LongWritable转Long Long l =key.get() Long转LongWritable LongWritable lw = new LongWritable(1000000) 阅读全文
posted @ 2020-03-27 13:57 $王大少 阅读(1015) 评论(0) 推荐(0) 编辑
String类型和Text类型相互转化
摘要：
Text类型转String 例子:String s=value.toString() String类型转Text类型 例子:Text text = new Text("hello") 阅读全文
posted @ 2020-03-27 13:54 $王大少 阅读(6818) 评论(0) 推荐(0) 编辑
mapreduce入门和编程步骤
摘要：
1、理解MapReduce思想 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。 Map负责“分”，即把复杂的 阅读全文
posted @ 2020-03-27 11:56 $王大少 阅读(1052) 评论(0) 推荐(0) 编辑
hdfs小文件合并
摘要：
由于hadoop擅长存储大文件，因为大文件的元数据信息比较少，如果hadoop集群当中有大量的小文件，那么每个小文件都需要维护一份元数据信息，会大大的增加集群管理元数据的内存压力，所以在实际工作当中，如果有必要一定要将小文件合并成大文件进行一起处理。 在我们的hdfs 的shell命令模式下，可以通 阅读全文
posted @ 2020-03-27 11:28 $王大少 阅读(3059) 评论(0) 推荐(0) 编辑
如何给hdfs设置权限
摘要：
1、将hdfs的权限打开，修改hdfs-site.xml（所有机器都要改）2、更改完成之后，hdfs集群要重启 阅读全文
posted @ 2020-03-27 10:17 $王大少 阅读(2337) 评论(0) 推荐(0) 编辑