摘要：
需求：求多门课程的平均值。 样板：math.txt zhangsan 90 lisi 88 wanghua 80 china.txt zhangsan 80lisi 90wanghua 88 输出：zhangsan 85 lisi 89 wanghua 84 分析部分： mapper部分分析： 1、 阅读全文
摘要：
需求：对文件中的数据进行排序。 样本：sort.log 10 13 10 20 输出：1 10 2 10 3 13 4 20 分析部分： mapper分析： 1、<k1,v1>k1代表：行位置编号，v1代表：一行数据 2、<k2,v2>k2代表：一行数据，v2代表：此处为1. reduce分析： 3 阅读全文
摘要：
判断map中是否含有某个key，如包含则结果value相加，如不包含则新增。 直接上demo吧： 小总结，大进步。 阅读全文
摘要：
在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。 具体命令介绍： -move: 移动损坏的文件到/lost+found目录下 -delete: 删除损坏的文件 -openforwrite: 输出检测中的正在被写的文件 -list-co 阅读全文
摘要：
String str = "168"; boolean isNum = str.matches("[0-9]+"); //+表示1个或多个（如"3"或"225"），*表示0个或多个（[0-9]*）（如""或"1"或"22"），?表示0个或1个([0-9]?)(如""或"7") ps：这个方法只能用于 阅读全文
摘要：
需求：去掉文件中重复的数据。 样板：data.log 2016-3-1 a 2016-3-2 b 2016-3-2 c 2016-3-2 b 输出结果： 2016-3-1 a 2016-3-2 b 2016-3-2 c 解决思路：取出一行数据，经过mapper处理后，利用MapReduce默认的将相 阅读全文
摘要：
需求：求每年当中最高的温度 样本：temp.log 2016080623 2016072330 2015030420 输出结果：2016 30 2015 20 MapReduce分析设计： Mapper分析设计： 1、将文件分割成键值队<k1,v1>，k1代表：行位置，v1代表：一行数据。 2、将这 阅读全文
摘要：
需求：统计一个文件中所有单词出现的个数。 样板：word.log文件中有hadoop hive hbase hadoop hive 输出：hadoop 2 hive 2 hbase 1 MapReduce设计方式： 一、Map过程<k,v>键值队的设计： 1、按行将文本文件切割成 <k1,v1>，k 阅读全文
摘要：
在运行hadoop的程序时，向hdfs中写文件时候，抛出异常信息如下：Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission den 阅读全文
摘要：
1、find / -name log.xml 按照名字查找log.xml文件 2、locate log.xml 查找log.xml文件（效率高） 3、grep 'hive' word.log 查找hive在word.log在这个文件中位置 阅读全文