代码改变世界

随笔档案-2017年04月

Pig集群安装

2017-04-18 20:57 by 没有波澜的天空, 354 阅读, 收藏, 编辑
摘要: 1、安装hadoop 这个之前已经写过 2、下载Pig,解压 3、保证Java和Hadoop已经在/etc/profile中配置 4、配置Pig安装目录 export PIG_INSTALL=/home/wyh/hadoop/pig-0.9.2 5、配置Pig的hadoop目录 export PIG 阅读全文

Hbase集群部署

2017-04-16 11:54 by 没有波澜的天空, 205 阅读, 收藏, 编辑
摘要: 1、安装Hadoop集群 这个之前已经写过 2、安装Zookeeper 这个之前也已经写过 3、下载hbase,放到master机器,解压 4、修改hbase-env.sh,添加Java地址 export JAVA_HOME=/home/wyh/hadoop/jdk1.6.0_45 5、修改hbas 阅读全文

Zookeeper集群的安装和配置

2017-04-13 19:39 by 没有波澜的天空, 178 阅读, 收藏, 编辑
摘要: 1、下载Zookeeper 2、解压 3、进入conf目录,创建文件 zoo.cfg 4、修改文件zoo.cfg dataDir=/home/wyh/hadoop/zookeeper-3.4.9/zookeeper/data dataLogDir=/home/wyh/hadoop/zookeeper 阅读全文

运行第一个MapReduce程序,WordCount

2017-04-10 23:03 by 没有波澜的天空, 366 阅读, 收藏, 编辑
摘要: 1、安装Eclipse 安装后如果无法启动重新配置Java路径(如果之前配置了Java) 2、下载安装eclipse的hadoop插件 注意版本对应,放到/uer/lib/eclipse/plugins下 3、新建MapReduce程序(放了插件会自动出现这个选项) 4、新建Hadoop节点 在Ma 阅读全文

Hadoop完全分布分布式配置

2017-04-09 15:37 by 没有波澜的天空, 780 阅读, 收藏, 编辑
摘要: 1、准备三台虚拟机、安装Ubuntu操作系统,具体过程省略 2、三台虚拟机上分别安装Java环境,具体过程省略(保证三者的Java路径一致) 3、三台机器分别配置ssh本机免密码登录 (1)安装ssh 执行命令:sudo apt-get install ssh (2)生成ssh公私钥对 执行命令:s 阅读全文
点击右上角即可分享
微信分享提示