会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
莫等闲,白了少年头,空悲切。
上一页
1
2
3
4
5
6
7
下一页
Ant编译MapReduce程序
摘要: 本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce Cookbook》中的示例代码。1、安装AntAnt项目主页:http://ant.apache.org/下载二进制安装包,例如apache-ant-1.9.4-bin.tar.gz,上传到Hadoop集群环...
阅读全文
posted @ 2014-05-11 20:36 guarder
阅读(315)
评论(0)
推荐(0)
编辑
MapReduce案例运行
摘要: 从《Hadoop权威指南》选取了一个小案例,在Hadoop集群环境中运行。1、新建JAVA类,保存书中源代码。[huser@master bin]$ vi URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa...
阅读全文
posted @ 2014-05-11 17:15 guarder
阅读(560)
评论(1)
推荐(1)
编辑
R读书笔记一:变量,向量,数组,矩阵,数据框,读写文件,控制流
摘要: R读书笔记一:变量,向量,数组,矩阵,数据框,读写文件,控制流1、创建向量和矩阵函数c( ), length( ), mode( ), rbind( ), cbind( )1)创建向量,求向量长度,向量类型。> x1=c(2,4,6,8,0)> x2=c(1,3,5,7,9)> length(x1)...
阅读全文
posted @ 2014-05-08 22:11 guarder
阅读(556)
评论(0)
推荐(0)
编辑
Linux基本命令
摘要: 本文记录Linux基本命令,持续更新。查找:/查找文本符,回车查找复制一行:yy删除一行:dd粘贴:p撤销上一步操作:u查看文件大小:du -sh filename
阅读全文
posted @ 2014-05-04 23:09 guarder
阅读(146)
评论(0)
推荐(0)
编辑
Hive安装
摘要: 本文记录在Hadoop集群环境下安装Hive。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 & Hive 0.111、简介项目主页:http://hive.apache.org/2、安装三种模式:内嵌模式:元数据保持在内嵌的Derby模式,只允许一个会话连接本地独...
阅读全文
posted @ 2014-05-04 21:54 guarder
阅读(390)
评论(0)
推荐(0)
编辑
Linux安装MySql
摘要: 本文记录Linux安装MySql过程。环境:OS:Centos 6.5 x64 & MySql 5.1 x641、系统检查检查是否已经安装MySql数据库。[root@master ~]# rpm -qa | grep mysql如果有安装,先卸载已经安装的MySql数据库。[root@master...
阅读全文
posted @ 2014-05-04 20:49 guarder
阅读(305)
评论(0)
推荐(0)
编辑
Mahout学习
摘要: Mahout小案例学习,实现k-means算法。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 & Mahout 0.91、下载测试数据[huser@master hadoop]$ wget http://archive.ics.uci.edu/ml/databas...
阅读全文
posted @ 2014-05-03 17:52 guarder
阅读(249)
评论(0)
推荐(0)
编辑
Mahout安装
摘要: 本文记录在Hadoop集群环境下安装Mahout。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 & Mahout 0.91、简介mahout项目主页:https://mahout.apache.org/下载二进制包,上传到服务器。2、安装用集群环境用户安装,解压二...
阅读全文
posted @ 2014-05-03 11:40 guarder
阅读(580)
评论(0)
推荐(0)
编辑
Pig安装
摘要: 本文记录Hadoop集群环境安装Pig。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 & Pig 0.121、简介项目主页:https://pig.apache.org/下载二进制安装包pig-0.12.0.tar.gz,上传到服务器。2、安装用集群环境普通用户安...
阅读全文
posted @ 2014-05-03 10:30 guarder
阅读(325)
评论(0)
推荐(0)
编辑
怎样控制namenode检查点发生的频率
摘要: 控制namenode检查点发生的频率。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、修改core-site.xml,设置参数。 fs.checkpoint.period 1802、重启集群,查看namenode下文件更新频率,每隔180秒更新一次。[huse...
阅读全文
posted @ 2014-05-02 20:09 guarder
阅读(319)
评论(0)
推荐(0)
编辑
Hadoop集群实施成功后,再次格式化名称节点
摘要: Hadoop集群实施成功后,再次格式化名称节点。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927 SecondaryNameNode7773 NameNode8...
阅读全文
posted @ 2014-05-02 19:44 guarder
阅读(1293)
评论(0)
推荐(0)
编辑
secondary namenode和namenode分离
摘要: namenode 和 secondaryNamenode 运行在同一机器上,分离配置到新节点上。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1master中的配置不是决定谁是namenode,而是决定谁是secondarynamenode。决定谁是namenode的...
阅读全文
posted @ 2014-05-02 18:07 guarder
阅读(261)
评论(0)
推荐(0)
编辑
修改HDFS块大小
摘要: 环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、查看当前块大小,默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o" ./in/test1.txt671088642、修改hdfs-site.conf...
阅读全文
posted @ 2014-05-02 17:14 guarder
阅读(564)
评论(0)
推荐(0)
编辑
通过secondary namenode恢复崩溃的namenode
摘要: 模拟namenode崩溃,将name目录的内容全部删除,然后通过secondary namenode恢复namenode。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、进入name目录下,删除name目录内容。[huser@master name]$ pwd/h...
阅读全文
posted @ 2014-05-02 11:15 guarder
阅读(464)
评论(0)
推荐(0)
编辑
Hadoop web监控界面设置安全机制
摘要: Hadoop集群配置完成,web监控界面的50070和50030端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。实验环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.11、修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。 ha...
阅读全文
posted @ 2014-05-01 23:27 guarder
阅读(3985)
评论(2)
推荐(0)
编辑
上一页
1
2
3
4
5
6
7
下一页
导航
博客园
首页
联系
订阅
管理
公告