Hadoop - 随笔分类 - 往事如风

摘要：1.简单模式这种模式，配置简单，使用简单。 core-site.xml添加 hadoop.security.authorization true hadoop.security.authentication s... 阅读全文

posted @ 2014-08-05 19:59 往事如风阅读(9479) 评论(0) 推荐(0) 编辑

摘要：1.好久没用log4j了，转到logback好多年了，hbase程序运行时，报缺少log4j配置，那么，就转去logback吧（以下的XXX表示版本号）。原先lib包里面有log4j-XXX.jar、slf4j-api-XXX.jar、slf4j-log4j12-XXX.jar，干掉log4... 阅读全文

posted @ 2014-08-04 23:20 往事如风阅读(16216) 评论(0) 推荐(0) 编辑

Hbase0.98.4/Hadoop2.4.1整合小结【原创】

摘要：设定hbase的数据目录，修改conf/hbase-site.xml hbase.cluster.distributed true The mode the clusterwill be in. Possible values are ... 阅读全文

posted @ 2014-08-01 15:41 往事如风阅读(1553) 评论(0) 推荐(0) 编辑

Hadoop 2.4.1 Map/Reduce小结【原创】

摘要：看了下MapReduce的例子。再看了下Mapper和Reducer源码，理清了参数的意义，就o了。public class Mapperpublic class Reducer Map是打散过程，把输入的数据，拆分成若干的键值对。Reduce是重组的，根据前面的键值对，重组数据。自己写M... 阅读全文

posted @ 2014-08-01 13:38 往事如风阅读(354) 评论(0) 推荐(0) 编辑

hadoop的dfs工具类一个【原创】

摘要：开始没搞定插件问题，就弄了个dsf操作类，后面搞定了插件问题，这玩意也就聊胜于无了，还是丢这里算了。首先是一个配置，ztool.hadoop.propertieshadoop.home.dir=G:/hadoop/hadoop-2.4.1hadoop.user.name=hadoophado... 阅读全文

posted @ 2014-08-01 13:24 往事如风阅读(3115) 评论(0) 推荐(0) 编辑

简化 Hadoop 2.4.1 Eclpse 插件编译【原创】

摘要：昨天折腾hadoop2X的eclipse插件，从https://github.com/winghc/hadoop2x-eclipse-plugin把源码搞下来后，很快搞定出来一个，但是。。。New Hadoop Location时，窗口出不来，汗死，原因后面会说明的。源码难下，最后我会附上源码包... 阅读全文

posted @ 2014-08-01 03:58 往事如风阅读(2434) 评论(2) 推荐(0) 编辑

Hadoop 2.4.1 设置问题小结【原创】

摘要：先丢点问题小结到这里，免得忘记，有空再弄个详细教程玩，网上的教程要不就是旧版的，要不就是没说到点子上，随便搞搞也能碰上结果是对的时候，但是知其然而不知其所以然，没意思啊。解决问题的方法有很多种，总得找到比较合适的方法才行的。1.服务器禁用ipV6配置.2.Could not locate execu... 阅读全文

posted @ 2014-07-31 18:21 往事如风阅读(4640) 评论(0) 推荐(1) 编辑

随笔分类 - Hadoop