摘要: 1.mysql新增、删除用户和权限分配查看用户及权限mysql>use mysqlmysql>select * from user\G;新增用户mysql>insert into mysql.user(Host,User,Password) values("localhost","hive",pas... 阅读全文
posted @ 2014-09-08 21:35 晋心 阅读(266) 评论(0) 推荐(0) 编辑
摘要: 一般在数据节点的log日志信息里能找到导致启动不起来的原因。1.Namenode和Datanode的NamenodeID不一致 描述:一般在集群多次重新格式化HDFS之后,或者刚安装时会碰到。日志信息如下: java.io.IOException: Incompatible namespac... 阅读全文
posted @ 2014-09-08 21:04 晋心 阅读(11389) 评论(0) 推荐(0) 编辑
摘要: 作为以后参考所用。 首先,介绍如何在VMWare中设置linux的网络。一般网络选项有Bridged,NAT,host-only几种,本次以host-only作详细说明,如下图: 在选择host-only模式之后,打开VMWARE的网络属性编辑窗口,就可以看到VMnet1网卡已经可见。此处VMn... 阅读全文
posted @ 2014-09-08 19:01 晋心 阅读(12265) 评论(0) 推荐(1) 编辑
摘要: 花了好几天,搭建好windows和linux下连接HDP集群的调试环境,在此记录一下 hadoop2.2.0的版本比hadoop0.x和hadoop1.x结构变化很大,没有eclipse-hadoop插件支持,在网上找了好久才找到,自己编译的比较麻烦,而且不成功,还好最后找到了。环境及配置:1.e... 阅读全文
posted @ 2014-09-08 18:12 晋心 阅读(1199) 评论(1) 推荐(0) 编辑
摘要: "error: failure to login"问题http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.htmlDFS Locations 本人这次的编译环境是linuxmint15 64bit,与上文的编译环境win2003不同了... 阅读全文
posted @ 2014-07-11 16:37 晋心 阅读(303) 评论(0) 推荐(0) 编辑
摘要: 在hadoop1.x版本时使用的是在Windows下编译Eclipse插件,远程调试集群。换成2.2.0,没有eclipse-plugin文件。 hadoop2.2.0“远程调试集群”,是指调试NameNode/DataNode,JobTracker/Tasktracker,ResourceMan... 阅读全文
posted @ 2014-07-11 16:36 晋心 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 首先就是Ubuntu的更新源问题,需要更改,否则更新不了。其次就是Securecrt的远程登陆问题,windows主机和ubuntu虚拟机如果能通信,要求在同一网段上,而ubuntu是动态加载,需要手动更改成二者在同一网段上。网上好多更改网址的方法,经过验证,以下的方法是最好的:1. 配置静态ip地... 阅读全文
posted @ 2014-07-11 16:36 晋心 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 伪分布式:hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml 1.在hadoop官网下载hadoop的源码(同步跟踪最新源代码)mvn checkout http://svn.apache.org/repos/asf/hadoop/c... 阅读全文
posted @ 2014-07-11 16:35 晋心 阅读(331) 评论(0) 推荐(0) 编辑
摘要: 1. ssh localhost: 不能登陆:将错误提示中的文件全部删除。原因:登陆过远程主机2. 问题: 伪分布式datanode启动不了:在datanode的log日志文件出现以下错误提示: ERROR org.apache.hadoop.metrics2.impl.MetricsSystemI... 阅读全文
posted @ 2014-07-11 16:32 晋心 阅读(5075) 评论(0) 推荐(0) 编辑
摘要: Hama介绍Apache Hama是一个纯BSP(Bulk Synchronous Parallel)计算框架,模仿了Google的Pregel。用来处理大规模的科学计算,特别是矩阵和图计算。BSP概念由Valiant(2010图灵奖获得者)在1990年提出,具体参看wikipedia。Google... 阅读全文
posted @ 2014-07-11 16:32 晋心 阅读(583) 评论(0) 推荐(0) 编辑