摘要: 0.说明 Hadoop集群已经运行正常,现在新买了一些机子,要加入到集群里面增加新的节点。以下就是增加的过程。 1.配置运行环境 安装与master和其他slave相同的java环境,jdk版本要相同。具体安装过程这里不再赘述。 修改新节点的ip和主机名对应关系,修改/etc/hosts配置文件,定 阅读全文
posted @ 2016-11-09 20:00 FEFJay 阅读(11804) 评论(0) 推荐(0) 编辑
摘要: 0.说明 Linux系统下经常遇到文件或者文件夹的权限问题,或者是因为文件夹所属的用户问题而没有访问的权限。根据我自己遇到的情况,对这类问题做一个小结。 在命令行使用命令“ll”或者“ls a”,可以查看文件或者文件的权限: 其中“ rw r r ”表示权限,一共有十个字符。 第一个字符,如果是“ 阅读全文
posted @ 2016-11-09 17:26 FEFJay 阅读(75655) 评论(1) 推荐(1) 编辑
摘要: Hadoop1.2.1异常Bad connect ack with firstBadLink (No route to host ) 0.说明 Hadoop集群之前运行正常,增加了新节点之后,需要执行负载均衡等相关操作,执行过程当中出现问题。 1.运行异常 查看master上面的日志信息,发现: 也 阅读全文
posted @ 2016-11-09 16:01 FEFJay 阅读(2110) 评论(0) 推荐(0) 编辑
摘要: 1.登录 之后输入密码进行登陆 2.权限设置及说明 2.1添加远程ip访问权限 2.2命令解释 第一行中, 10.10.11.12 是阿里云内网的一个地址,这个是允许远程访问的IP的值。自行改为其他值。 root是账户名,后面的FEFJay是密码。 即,允许来自10.10.11.12的连接并使用 r 阅读全文
posted @ 2016-11-08 20:31 FEFJay 阅读(15826) 评论(0) 推荐(0) 编辑
摘要: hive数据导入代码格式(会移动源文件位置): LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [partition (分区列名1=值1,分区列名2=值2,...)] 对以上公式细分,Hive有好几种常见的数据 阅读全文
posted @ 2016-11-08 20:29 FEFJay 阅读(990) 评论(0) 推荐(0) 编辑
摘要: 0. 说明 已经安装好Hadoop和hive环境,hive把元数据存储在mysql数据库。这里仅讨论外部表和HDFS的关联,并且删掉外部表之后,对HDFS上的文件没有影响。 1. 在HDFS创建分区,并存有文件 手工创建或者由程序在HDFS上生成了分区目录,每个分区目录下有相应的文件。本例中根据da 阅读全文
posted @ 2016-11-08 20:26 FEFJay 阅读(15179) 评论(2) 推荐(1) 编辑
摘要: 0. 说明 已经安装好Hadoop 1.2.1。 安装好mysql。 1.解压安装包 先把安装包下载。然后解压: 2.配置环境变量 使刚刚配置的环境变量立即有效 3.配置hive参数 hive的配置文件放在$HIVE_HOME/conf下,里面有4个默认的配置文件模板 可不做任何修改hive也能运行 阅读全文
posted @ 2016-11-08 20:24 FEFJay 阅读(3423) 评论(0) 推荐(0) 编辑
摘要: 0. 说明 执行bash命令的定时任务时候,希望能把正常的日志输出到一个文件里面,同时如果执行的过程发生异常则把异常日志输出到另一个不同的文件中。方便今后异常排查,极大有利于快速定位出错位置。 需要了解“ ”是覆盖文件原来的内容,“ ”是在文件内容最下方追加。 “1 ”或“1 ”是正常标准输出,“2 阅读全文
posted @ 2016-11-08 20:23 FEFJay 阅读(11254) 评论(0) 推荐(0) 编辑
摘要: 注意:原来的数据全部被清空了。产生了一个新的hdfs 1. 删除已有目录 1.1 查看hdfs site.xml 将 dfs.name.dir和dfs.data.dir所指定的目录删除 1.2 查看core site.xml 将Hadoop.tmp.dir所指定的目录删除。 2.删除历史HDFS,重 阅读全文
posted @ 2016-11-08 20:22 FEFJay 阅读(3636) 评论(0) 推荐(0) 编辑
摘要: 0. 说明 系统中首先要安装好jdk环境。 已经配置ssh免密码登录。 设置好防火墙,或者关闭防火墙。 如果集群内机器的环境完全一样,可以在一台机器上配置好,然后把master配置好的软件即hadoop 1.2.1整个文件夹拷贝到其他slave机器的相同位置即可。 1. 环境准备 本次配置使用了两个 阅读全文
posted @ 2016-11-08 20:20 FEFJay 阅读(438) 评论(0) 推荐(0) 编辑