2018年7月4日
mapreduce之数据倾斜
摘要： 如上图，InputFormat决定文件的输入格式，切片的计算是由输入格式来进行计算的，我们默认使用的输入格式是文本输入格式TextInputFormat，而TextInputForm是继承自FileInputFormat这个抽象类，在FileInputFormat这个类中，有一个getsplites 阅读全文
posted @ 2018-07-04 22:19 shizeqi 阅读(733) 评论(0) 推荐(0) 编辑
hdfs切片的计算方式
摘要： HDFS的block是逻辑上的数据块.Hadoop2.0中每一块默认大小128MB,实际存储过程中block大小小于等128MB,它是以文件为存储对象.如一200MB大小文件,分两个数据块128MB+72MB 这里的两个块大实际小分别是128MB和72MB 算法分析: max(minSize, mi 阅读全文
posted @ 2018-07-04 15:24 shizeqi 阅读(1082) 评论(0) 推荐(0) 编辑
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 故障解决
摘要： 在网上看了很多该故障的解决方法，接下来介绍两种 1.解决方法是下载https://github.com/srccodes/hadoop-common-2.2.0-bin文件然后将其中的hadoop.dll文件放到hadoop安装路径的bin文件夹下（配置好HADOOP_HOME的环境变量），然后重启 阅读全文
posted @ 2018-07-04 08:41 shizeqi 阅读(2520) 评论(0) 推荐(0) 编辑