13_sqoop数据迁移概述
3. sqoop数据迁移
3.1 概述
sqoop是apache旗下一款“Hadoop体系和关系数据库服务器之间传送数据”的工具。
导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统;
导出数据:从Hadoop的文件系统中导出数据到关系数据库;
3.2 工作机制
将导入或导出命令翻译成mapreduce程序来实现,在翻译出的mapreduce中主要是对inputformat和
outputformat进行定制
Sqoop的原理其实就是将导入导出命令转化为mapreduce程序来执行,sqoop在接收到命令后,都要
生成mapreduce程序
3.3 sqoop安装
1.安装sqoop的前提是已经具备java和hadoop的环境
2.下载并解压:最新版下载地址:https://pan.baidu.com/s/1Gerp-3va3aFtTFej96v4hw
3.修改配置文件:
$ cd $SQOOP_HOME/conf $ mv sqoop-env-template.sh sqoop-env.sh 打开sqoop-env.sh并编辑下面几行: export HADOOP_COMMON_HOME=/usr/local/src/hadoop-2.6.4/ export HADOOP_MAPRED_HOME=/usr/local/src/hadoop-2.6.4/ export HIVE_HOME=/usr/local/src/hive-1.2.1/
4.加入mysql的jdbc驱动包
cp /usr/local/src/hive-1.2.1/lib/mysql-connector-java-5.1.28.jar /usr/local/src/sqoop/lib/
5.验证启动:cd $SQOOP_HOME/bin
你情我愿,我们就在一起!