Sqoop安装部署

第一步：下载安装包

https://mirrors.bfsu.edu.cn/apache/sqoop/1.4.7

第二步：上传并解压

• 将我们下载好的安装包上传到hadoop03服务器的/bigdata/soft路径下，然后进行解压

cd /bigdata/soft/
tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /bigdata/install

第三步：修改配置文件

• 更改sqoop的配置文件

cd /bigdata/install/sqoop-1.4.7.bin__hadoop-2.6.0/conf/
mv sqoop-env-template.sh sqoop-env.sh
vim sqoop-env.sh

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/bigdata/install/hadoop-3.1.4

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/bigdata/install/hadoop-3.1.4

#set the path to where bin/hbase is available
export HBASE_HOME=/bigdata/install/hbase-2.2.6

#Set the path to where bin/hive is available
export HIVE_HOME=/bigdata/install/hive-3.1.2

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/bigdata/install/zookeeper-3.6.2

第四步：添加两个必要的jar包

• sqoop需要两个额外依赖的jar包，将课件资料当中两个jar包添加到sqoop的lib目录下

cd /bigdata/soft
cp java-json.jar mysql-connector-java-5.1.38.jar /bigdata/install/sqoop-1.4.7/lib/

第五步：配置sqoop的环境变量

sudo vim /etc/profile	

# 添加如下内容
export SQOOP_HOME=/bigdata/install/sqoop-1.4.7
export PATH=:$SQOOP_HOME/bin:$PATH

• 让环境变量生效

source /etc/profile

1. sqoop help有warning日志

• 执行命令sqoop help，有warning日志
  

• 解决方案

[hadoop@hadoop03 bin]$ pwd
/bigdata/install/sqoop-1.4.7/bin
# 搜索HCAT_HOME,将下图红框内容注释掉
[hadoop@hadoop03 bin]$ vim configure-sqoop

2. sqoop help有错误

• 运行sqoop help有错误：
  • 错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty
• 此错误，不影响sqoop的；可以忽略不管
  • 如果有洁癖，可以看如下方式解决

1. 解决方案一：

• 简单的做法，直接用修改过的hbase文件，替换集群3个节点目录/bigdata/install/hbase-2.2.6/bin中的hbase文件
• 重启hbase集群即可

2. 解决方案二

• hadoop01修改hbase命令文件

[hadoop@hadoop01 bin]$ cd /bigdata/install/hbase-2.2.6/bin/
[hadoop@hadoop01 bin]$ vim hbase

• 如下图显示，找到指定的位置（根据行号或关键字内容进行定位）

  • 新增第一个红框的内容；注意缩进

      # Needed for GetJavaProperty check below
      add_to_cp_if_exists "${HBASE_HOME}/hbase-server/target/classes"
  

  • 将第二个红框的内容注释掉
    

• 继续查找hbase文件，定位到如下黄框内容
  

• 在上图322行（第一个黄色框）增加下图①的代码；注意缩进

  temporary_cp=
  for f in "${HBASE_HOME}"/lib/hbase-server*.jar; do
    if [[ ! "${f}" =~ ^.*\-tests\.jar$ ]]; then
      temporary_cp=":$f"
    fi
  done

• 将上图的第二个黄色框的内容修改成下图②的代码；注意缩进

  HADOOP_JAVA_LIBRARY_PATH=$(HADOOP_CLASSPATH="$CLASSPATH${temporary_cp}" "${    HADOOP_IN_PATH}" \

• 保存退出
• 将hbase分发到另外两个节点

[hadoop@hadoop01 bin]$ pwd
/bigdata/install/hbase-2.2.6/bin
[hadoop@hadoop01  bin]$ scp hbase hadoop02:$PWD
[hadoop@hadoop01  bin]$ scp hbase hadoop03:$PWD

• 重启hbase