Ubuntu安装Sqoop

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

安装环境：
操作系统：Linux系统(Ubuntu14.04)
sqoop版本：1.4.6
Hadoop：2.7.2
MySQL：5.7.15
注意：sqoop1与sqoop2完全不兼容，1.4.6及之前的版本是sqoop1，之后的是sqoop2

  1. 下载并解压sqoop1.4.6
    请登录Linux系统（本教程是使用hadoop用户名登录），然后，在Linux的浏览器（一般自带的是火狐Firefox浏览器）中，打开本网页，点击sqoop下载地址，下载Sqoop安装文件sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz。浏览器默认会被下载文件保存到当前登录用户的下载目录下面。
    下面执行以下命令
  2. cd ~ #进入当前用户的用户目录
  3. cd 下载 #sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz文件下载后就被保存在该目录下面
  4. sudo tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local #解压安装文件
  5. cd /usr/local
  6. sudo mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop #修改文件名
  7. sudo chown -R hadoop:hadoop sqoop #修改文件夹属主，如果你当前登录用户名不是hadoop，请修改成你自己的用户名
    Shell 命令
  8. 修改配置文件sqoop-env.sh
  9. cd sqoop/conf/
  10. cat sqoop-env-template.sh >> sqoop-env.sh #将sqoop-env-template.sh复制一份并命名为sqoop-env.sh
  11. vim sqoop-env.sh #编辑sqoop-env.sh
    Shell 命令
    修改sqoop-env.sh的如下信息
  12. export HADOOP_COMMON_HOME=/usr/local/hadoop
  13. export HADOOP_MAPRED_HOME=/usr/local/hadoop
  14. export HBASE_HOME=/usr/local/hbase
  15. export HIVE_HOME=/usr/local/hive

  16. export ZOOCFGDIR= #如果读者配置了ZooKeeper,也需要在此配置ZooKeeper的路径

Shell 命令
3. 配置环境变量
打开当前用户的环境变量配置文件：

  1. vim ~/.bashrc
    Shell 命令
    在配置文件第一行键入如下信息：
    export SQOOP_HOME=/usr/local/sqoopexport PATH=$PATH:$SBT_HOME/bin:$SQOOP_HOME/binexport CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib
    保存该文件，退出vim编辑器。
    然后，执行下面命令让配置文件立即生效:

  2. source ~/.bashrc
    Shell 命令

  3. 将mysql驱动包拷贝到$SQOOP_HOME/lib
    下面要把MySQL驱动程序拷贝到$SQOOP_HOME/lib目录下，首先请在Linux系统的浏览器中请点击mysql驱动包下载地址下载驱动包。下载后，一般文件会被浏览器默认放置在当前用户的下载目录下，本教程采用hadoop用户登录Linux系统，因此，下载文件被默认放置在“/home/hadoop/下载”目录下面。
    下面执行命令拷贝文件：

  4. cd ~/下载 #切换到下载路径，如果你下载的文件不在这个目录下，请切换到下载文件所保存的目录

  5. sudo tar -zxvf mysql-connector-java-5.1.40.tar.gz #解压mysql驱动包

  6. ls #这时就可以看到解压缩后得到的目录mysql-connector-java-5.1.40

  7. cp ./mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/sqoop/lib
    Shell 命令

  8. 测试与MySQL的连接
    首先请确保mysql服务已经启动了，如果没有启动，请执行下面命令启动：

  9. service mysql start
    Shell 命令
    然后就可以测试sqoop与MySQL之间的连接是否成功：

  10. sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P

posted @ 2017-08-27 23:33  sold_out  阅读(635)  评论(0)  编辑  收藏  举报