HADOOP__PIG安装与配置
PIG安装与配置
前提
已成功安装好Hadoop集群。
详见:http://www.cnblogs.com/freeideas/archive/2013/04/16/3023287.html
以下只在一个结点做,PIG可以直接调用整个集群。此处我选择了独立于其他节点的Server(CentOS)节点。
安装要求:
Server节点要求。
①已安装JDK。
②已有HADOOP目录,并且其中的maters,slaves文件已做好配置.
(最好可以直接拷贝集群中一个节点的HADOOP目录)
PIG安装是比较容易的,相对于其他项目而言。
(一)下载解压PIG
Pig下载路径,下载0.9.2(之前尝试了其他版本报错了:failed to create DataStorage尝试比较低的版本,
详见:http://www.cnblogs.com/freeideas/archive/2013/04/22/3036690.html)
http://apache.dataguru.cn/pig/pig-0.9.2/pig-0.9.2.tar.gz
将下载好的文件放到 /usr/hadoop/目录下并解压:
tar -zxvf pig-0.9.2.tar.gz
(二)配置PIG环境
配置用户的环境变量:
vi ~/.bash_profile
添加如下内容:
PATH=$PATH:/usr/hadoop/pig-0.9.2/bin:$HOME/bin
HADOOP_HOME=/usr/hadoopexport PATH
export HADOOP_HOME
为什么这么设置: 将PIG的bin目录添加到PATH中,可以直接在shell中敲入PIG命令进入程序,而非进入目录再执行。PIG在执行的时候会自动读取当前环境变量中的 HADOOP_HOME,从找到对应的HADOOP目录,也会读取JAVA_HOME来找到要使用的JAVA环境。
注意:
如果JDK没有在/etc/profile中export的话,请在此处做一次export(JAVA_HOME是PIG中必须的一个变量)。
JAVA_HOME=/usr/jdk
export JAVA_HOME
做好配置之后:
source ~/.bash_profile
来执行这个文件,使刚配置好的环境变量生效
(三)运行PIG
在shell中:
pig -x local
进入本地模式
之间键入:
pig
进入集群模式