随笔分类 - sqoop
摘要：sqoop的options-file参数可以像hive的-f 参数那样，执行一个脚本文件，而不是直接在命令行执行；其中，此脚本文件要遵循一定的格式；参考链接：http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html1、options-file参数使用##准备一个脚本文件，可以是txt、sql结尾文件##vim /opt/datas/sqoop-i...
阅读全文
摘要：一、export1、export概述export工具将一组文件从HDFS导入到RDBMS。目标表必须已经存在于数据库中。根据用户指定的分隔符读取输入文件并将其解析为一组记录， 只有map； [root@hadoop-senior sqoop-1.4.5-cdh5.3.6]# bin/sqoop he
阅读全文
摘要：一、增量数据的导入1、两种方式## query有一个唯一标识符，通常这个表都有一个字段，类似于插入时间createtime where createtime => 20150924000000000 and createtime Source column to check for incremental change --incremental ...
阅读全文
摘要：一、导数据1、import和exportSqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求：1、业务数据存放在关系数据库中，如果数据量达到一定规模后需要对其进行分析或同统计，单纯使用关系数据库可能会成为瓶颈，这时可以将数据从业务数据库数据...
阅读全文
摘要：一、安装sqoop1、解压##解压[root@hadoop-senior cdh]# tar zxf sqoop-1.4.5-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/2、/opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.sh //先重命名#Set path to where bin/hadoop is...
阅读全文
摘要：一、概述Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据可以是Mysql、Oracle等RDBMS。Sqoop底层用MapReduce程序实现抽取、转换、加载，MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoop集群上，减少了ETL服务器资源的使用情况。在特定场景下，抽取过程会有很大的性能提升。 如果要...
阅读全文
