hadoop-lzo 安装配置

在hive中要想使用lzo的格式,需要配置安装好lzo工具并且在hadoop的core-site.xml与mapred-site.xml中配置相应的配置

一、编译安装lzo与lzop

在集群的每一台主机上都需要编译安装！！！

1.下载编译安装lzo文件

http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

版本可以下载最新的 http://www.oberhumer.com/opensource/lzo/download

编译安装(保证主机上有gcc与g++)

tar -xvzf   lzo-2.10.tar.gz

cd lzo-2.10

./configure --enable-shared

make -j 10

make install

cp /usr/local/lib/*lzo* /usr/lib

安装完成后需要将 cp部分文件到/usr/lib中，这个步骤不做会抛 lzop: error while loading shared libraries: liblzo2.so.2: cannot open shared object file: No such file or directory

2.下载编译lzop　　　　

http://www.lzop.org/download/lzop-1.04.tar.gz

最新版选择 http://www.lzop.org/download/

tar -xvzf lzop-1.04.tar.gz 

cd lzop-1.04 

./configure 

make -j 10 

make install

二、安装、编译hadoop-lzo-master

   需在linux环境中安装,在windows上编译不过
  
   wget https://github.com/twitter/hadoop-lzo/archive/master.zip

解压:

unzip master.zip 

cd hadoop-lzo-master/

编辑pom.xml修改hadoop的版本号与你集群中hadoop版本一致

   <hadoop.current.version>2.9.3</hadoop.current.version>

检查所在主机是否有maven,如果没有需要安装,如下:

 wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz

tar -zxvf apache-maven-3.5.4-bin.tar.gz

vim /etc/profile

添加环境变量:
MAVEN_HOME=/usr/local/apache-maven-3.5.4
export MAVEN_HOME
export PATH=${PATH}:${MAVEN_HOME}/bin

保存退出profile

source /etc/profile

导入hadoop-lzo编译时需要路径信息

export CFLAGS=-m64

export CXXFLAGS=-m64

修改为自己hadoop的实际路径
export C_INCLUDE_PATH=/usr/local/hadoop-2.9.1/lzo/include

export LIBRARY_PATH=/usr/local/hadoop-2.9.1/lzo/lib

maven编译安装

mvn clean package -Dmaven.test.skip=true

等待。。。

编译安装没有异常结束后往下继续 PS:如果在mvn这里出现异常，请解决后再继续

编译成功后会有target文件

cd target/native/Linux-amd64-64/

mkdir ~/hadoop-lzo-files
tar -cBf - -C lib . | tar -xBvf - -C ~/hadoop-lzo-files

在 ~/hadoop-lzo-files 目录下产生几个文件,执行cp

cp ~/hadoop-lzo-files/libgplcompression* $HADOOP_HOME/lib/native/

注意！！！上面这一步的cp文件也要同步到集群其他主机的hadoop的对应目录下

cp hadoop-lzo的jar包到hadoop目录

cp target/hadoop-lzo-0.4.21-SNAPSHOT.jar $HADOOP_HOME/share/hadoop/common/

注意！！！上面这一步的cp文件也要同步到集群其他主机的hadoop的对应目录下

三、配置hadoop配置文件

在hadoop的core-site.xml中添加

vim core-site.xml

<property>  
    <name>io.compression.codecs</name>  
    <value>org.apache.hadoop.io.compress.GzipCodec,  
              org.apache.hadoop.io.compress.DefaultCodec,  
              com.hadoop.compression.lzo.LzoCodec,  
              com.hadoop.compression.lzo.LzopCodec,  
              org.apache.hadoop.io.compress.BZip2Codec  
    </value>  
</property>  
<property>  
    <name>io.compression.codec.lzo.class</name>  
    <value>com.hadoop.compression.lzo.LzoCodec</value>  
</property>

在mapred-site.xml中添加

vim mapred-site.xml

<property>    
    <name>mapred.compress.map.output</name>    
    <value>true</value>    
</property>
<property>    
    <name>mapred.map.output.compression.codec</name>    
    <value>com.hadoop.compression.lzo.LzoCodec</value>    
</property>

注意！！！上面修改的core-xite.xml与mapred-site.xml文件也要同步到集群其他主机的hadoop的对应目录下

最后重启集群！！！

检验是否成功

在hive中创建lzo格式的表

create table lzo-tmp(id int,name string) STORED AS INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';

插入数据，并且可以selete到数据,说明成功,如果没有重启集群或者没有重新开启新的hive的client端的话可能会抛(当在hive中查询时)

Failed with exception java.io.IOException:java.io.IOException: No LZO codec found, cannot run

至此hadoop-lzo配置完成

posted @ 2018-12-04 12:10 新际航阅读(2484) 评论(0) 编辑收藏举报

刷新页面返回顶部

新际航

hadoop-lzo 安装配置

二、安装、编译hadoop-lzo-master

公告