pig配置

下载Apache Pig

首先，从以下网站下载最新版本的Apache Pig:https://pig.apache.org/

步骤1

打开Apache Pig网站的主页。在News部分下，点击链接release page，如下面的快照所示。

 

步骤2

点击指定的链接后，你将被重定向到 Apache Pig Releases 页面。在此页面的Download部分下，单击链接，然后你将被重定向到具有一组镜像的页面。

 

步骤3

选择并单击这些镜像中的任一个，如下所示

步骤4

这些镜像将带您进入 Pig Releases 页面。 此页面包含Apache Pig的各种版本。 单击其中的最新版本。

步骤5

在这些文件夹中，有发行版中的Apache Pig的源文件和二进制文件。下载Apache Pig 0.16， pig0.16.0-src.tar.gz 和 pig-0.16.0.tar.gz 的源和二进制文件的tar文件。

Pig Index

安装Apache Pig

下载Apache Pig软件后，按照以下步骤将其安装在Linux环境中。

步骤1

在安装了 Hadoop，Java和其他软件的安装目录的同一目录中创建一个名为Pig的目录。（在我们的教程中，我们在名为Hadoop的用户中创建了Pig目录）。

 

在此说明，下载tar包就够，src暂时并不需要

 tar zxvf pig-0.15.0.tar.gz -C /home/hadoop/hadoop_home/

配置Apache Pig

安装Apache Pig后，我们必须配置它。要配置，我们需要编辑两个文件 - bashrc和pig.properties 。

.bashrc文件

在 .bashrc 文件中，设置以下变量

  • PIG_HOME 文件夹复制到Apache Pig的安装文件夹

  • PATH 环境变量复制到bin文件夹

  • PIG_CLASSPATH 环境变量复制到安装Hadoop的etc（配置）文件夹（包含core-site.xml，hdfs-site.xml和mapred-site.xml文件的目录）。

在此说明，同时不需要配置bashrc文件，和profile区别，详细搜索

export PIG_HOME=/home/Hadoop/Pig
export PATH=$PATH:/home/Hadoop/pig/bin
export PIG_CLASSPATH=$HADOOP_HOME/etc/hadoop##配置集群用，本地则不需要
注意空格的问题
source ~/.profile即可

启动集群的话，要把日志也启动

mr-jobhistory-daemon.sh start historyserver

 

 
posted @ 2019-03-07 17:26  pursue330  阅读(466)  评论(0)  编辑  收藏  举报