随笔分类 -  Hadoop

Hadoop Eclipse插件编译
摘要:Eclipse连接Hadoop集群环境,需要安装插件。Hadoop源码包中有Eclipse插件源代码,需要自己动手编译。环境:Hadoop 1.2.1 & EclipseKepler & Windows 7 & JAVA 71、生成插件源码解压Hadoop安装包,找到src\contrib\ecli... 阅读全文

posted @ 2014-05-26 20:50 guarder 阅读(368) 评论(0) 推荐(0) 编辑

怎样控制namenode检查点发生的频率
摘要:控制namenode检查点发生的频率。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、修改core-site.xml,设置参数。 fs.checkpoint.period 1802、重启集群,查看namenode下文件更新频率,每隔180秒更新一次。[huse... 阅读全文

posted @ 2014-05-02 20:09 guarder 阅读(321) 评论(0) 推荐(0) 编辑

Hadoop集群实施成功后,再次格式化名称节点
摘要:Hadoop集群实施成功后,再次格式化名称节点。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927 SecondaryNameNode7773 NameNode8... 阅读全文

posted @ 2014-05-02 19:44 guarder 阅读(1304) 评论(0) 推荐(0) 编辑

secondary namenode和namenode分离
摘要:namenode 和 secondaryNamenode 运行在同一机器上,分离配置到新节点上。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1master中的配置不是决定谁是namenode,而是决定谁是secondarynamenode。决定谁是namenode的... 阅读全文

posted @ 2014-05-02 18:07 guarder 阅读(267) 评论(0) 推荐(0) 编辑

修改HDFS块大小
摘要:环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、查看当前块大小,默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o" ./in/test1.txt671088642、修改hdfs-site.conf... 阅读全文

posted @ 2014-05-02 17:14 guarder 阅读(569) 评论(0) 推荐(0) 编辑

通过secondary namenode恢复崩溃的namenode
摘要:模拟namenode崩溃,将name目录的内容全部删除,然后通过secondary namenode恢复namenode。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、进入name目录下,删除name目录内容。[huser@master name]$ pwd/h... 阅读全文

posted @ 2014-05-02 11:15 guarder 阅读(492) 评论(0) 推荐(0) 编辑

Hadoop web监控界面设置安全机制
摘要:Hadoop集群配置完成,web监控界面的50070和50030端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。实验环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。 ha... 阅读全文

posted @ 2014-05-01 23:27 guarder 阅读(4012) 评论(2) 推荐(0) 编辑

Hadoop自带例子学习
摘要:用简单例子学习Hadoop,统计字符出现次数。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、创建文件夹,写入字符到文本文件。[huser@master hadoop-1.2.1]$ mkdir input[huser@master hadoop-1.2.1]$ ... 阅读全文

posted @ 2014-05-01 16:43 guarder 阅读(399) 评论(0) 推荐(0) 编辑

Hadoop 2.x 重新编译
摘要:本文记录Hadoop 2.x在Linux x64下重新编译的过程,解决hadoop在64位下安装报错问题。环境:Centos 6.5 x64 &Hadoop 2.2友情提示:编译速度非常漫长,因为需要链接国外网站下载资源,白天就10K左右速度,推荐半夜做。一、安装编译包yum install svn... 阅读全文

posted @ 2014-04-28 21:23 guarder 阅读(586) 评论(0) 推荐(0) 编辑

Hadoop 2.X 集群安装
摘要:使用vmware建立Hadoop 2.X集群环境,实验环境如下:机器名 IP地址 操作系统master 192.168.1.115 Centos x64slave1 192.168.1.111 Centos x64slave2 192.168.1.112 Centos x64... 阅读全文

posted @ 2014-04-20 15:49 guarder 阅读(787) 评论(0) 推荐(0) 编辑

Hadoop 1.X 集群安装
摘要:使用vmware建立Hadoop 1.X集群环境,实验环境如下:机器名 IP地址 操作系统master 192.168.1.115 Centos x64slave1 192.168.1.111 Centos x64slave2 192.168.1.112 Centos x64... 阅读全文

posted @ 2014-04-13 20:48 guarder 阅读(241) 评论(0) 推荐(0) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

统计

点击右上角即可分享
微信分享提示