摘要:Eclipse连接Hadoop集群环境,需要安装插件。Hadoop源码包中有Eclipse插件源代码,需要自己动手编译。环境:Hadoop 1.2.1 & EclipseKepler & Windows 7 & JAVA 71、生成插件源码解压Hadoop安装包,找到src\contrib\ecli...
阅读全文
摘要:控制namenode检查点发生的频率。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、修改core-site.xml,设置参数。 fs.checkpoint.period 1802、重启集群,查看namenode下文件更新频率,每隔180秒更新一次。[huse...
阅读全文
摘要:Hadoop集群实施成功后,再次格式化名称节点。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927 SecondaryNameNode7773 NameNode8...
阅读全文
摘要:namenode 和 secondaryNamenode 运行在同一机器上,分离配置到新节点上。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1master中的配置不是决定谁是namenode,而是决定谁是secondarynamenode。决定谁是namenode的...
阅读全文
摘要:环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、查看当前块大小,默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o" ./in/test1.txt671088642、修改hdfs-site.conf...
阅读全文
摘要:模拟namenode崩溃,将name目录的内容全部删除,然后通过secondary namenode恢复namenode。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、进入name目录下,删除name目录内容。[huser@master name]$ pwd/h...
阅读全文
摘要:Hadoop集群配置完成,web监控界面的50070和50030端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。实验环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。 ha...
阅读全文
摘要:用简单例子学习Hadoop,统计字符出现次数。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、创建文件夹,写入字符到文本文件。[huser@master hadoop-1.2.1]$ mkdir input[huser@master hadoop-1.2.1]$ ...
阅读全文
摘要:本文记录Hadoop 2.x在Linux x64下重新编译的过程,解决hadoop在64位下安装报错问题。环境:Centos 6.5 x64 &Hadoop 2.2友情提示:编译速度非常漫长,因为需要链接国外网站下载资源,白天就10K左右速度,推荐半夜做。一、安装编译包yum install svn...
阅读全文
摘要:使用vmware建立Hadoop 2.X集群环境,实验环境如下:机器名 IP地址 操作系统master 192.168.1.115 Centos x64slave1 192.168.1.111 Centos x64slave2 192.168.1.112 Centos x64...
阅读全文
摘要:使用vmware建立Hadoop 1.X集群环境,实验环境如下:机器名 IP地址 操作系统master 192.168.1.115 Centos x64slave1 192.168.1.111 Centos x64slave2 192.168.1.112 Centos x64...
阅读全文