Linux 平台下 lzo和hadoop-lzo安装与集成
Linux 【Ubuntu 】 平台下lzo和hadoop-lzo安装与集成
说明:下载文件
apache-maven-3.3.9-bin.tar.gz ---集成编译软件(生成hadoop与lzo集成jar包)
lzo-2.06.tar.gz ---lzo安装文件
hadoop-lzo-release-0.4.20.tar.gz --hadoop lzo 集成文件
此过程分为三大部分
一.maven 环境配置
1.tar 开文件apache-maven-3.3.9-bin.tar.gz
2.配置环境变量
3.mvn -version 测试是否安装成功
4.配置settings.xml为私服【nexus】
二.lzo安装
1.tar 开文件lzo-2.06.tar.gz
2.在解压目录运行.configure --enable-shared
3.在解压目录运行.make && sudo make install
4.检查/usr/local/lib目录下是否有lzo2开头的文件,如果有证明安装成功
5.检查/usr/lib目录下是否有lzo2开头的文件,如果没有,将/usr/local/lib下的lzo2* 文件拷贝到/usr/lib目录下
三.hadoop-lzo jar文件集成
1.tar 开文件hadoop-lzo-release-0.4.20.tar.gz
2.进入tar开目录,运行命令:mvn -package -DskiPTests
3.生成target目录,该目录下有hadoop-lzoXX jar文件【hadoop-lzo-0.4.20.jar】
4.eclipse引入hadoop-lzo-0.4.20.jar包进行lzo压缩