Sqoop面试题

阅读目录

• sqoop概述
  • 1、Sqoop导入导出Null存储一致性问题
  • 2、sqoop底层是怎样实现的？

 

---

回到顶部

sqoop概述

sqoop是连接关系型数据库和hadoop的桥梁，主要有两个方面(导入和导出)：
A. 将关系型数据库的数据导入到Hadoop 及其相关的系统中，如 Hive和HBase
B. 将数据从Hadoop 系统里抽取并导出到关系型数据库

1、Sqoop导入导出Null存储一致性问题

Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性,转化的过程中遇到null-string,null-non-string数据都转化成指定的类型，通常指定成"\N"。在导出数据时采用–input-null-string “\N” --input-null-non-string “\N” 两个参数。导入数据时采用–null-string “\N” --null-non-string “\N”。

2、sqoop底层是怎样实现的？

sqoop底层是用MapReduce实现数据传输的，并且MR程序中只有map任务没有reduce任务。
sqoop详解与应用