2016年8月6日
hadoop程序MapReduce之MaxTemperature
摘要： 需求：求每年当中最高的温度 样本：temp.log 2016080623 2016072330 2015030420 输出结果：2016 30 2015 20 MapReduce分析设计： Mapper分析设计： 1、将文件分割成键值队<k1,v1>，k1代表：行位置，v1代表：一行数据。 2、将这 阅读全文
posted @ 2016-08-06 14:09 麻雀虽小五脏俱全 阅读(477) 评论(0) 推荐(0) 编辑
hadoop程序MapReduce之WordCount
摘要： 需求：统计一个文件中所有单词出现的个数。 样板：word.log文件中有hadoop hive hbase hadoop hive 输出：hadoop 2 hive 2 hbase 1 MapReduce设计方式： 一、Map过程<k,v>键值队的设计： 1、按行将文本文件切割成 <k1,v1>，k 阅读全文
posted @ 2016-08-06 01:23 麻雀虽小五脏俱全 阅读(365) 评论(0) 推荐(0) 编辑
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException)
摘要： 在运行hadoop的程序时，向hdfs中写文件时候，抛出异常信息如下：Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission den 阅读全文
posted @ 2016-08-06 00:11 麻雀虽小五脏俱全 阅读(12100) 评论(1) 推荐(0) 编辑
linux命令之find和locate
摘要： 1、find / -name log.xml 按照名字查找log.xml文件 2、locate log.xml 查找log.xml文件（效率高） 3、grep 'hive' word.log 查找hive在word.log在这个文件中位置 阅读全文
posted @ 2016-08-06 00:01 麻雀虽小五脏俱全 阅读(269) 评论(0) 推荐(0) 编辑