打赏

Sqoop架构(四)

  

  Sqoop 架构是非常简单的,它主要由三个部分组成:Sqoop client、HDFS/HBase/Hive、Database。

     下面是Sqoop 的架构图

  

  (1)用户向 Sqoop 发起一个命令之后,这个命令会转换为一个基于 Map Task 的 MapReduce 作业。
  (2)Map Task 会访问数据库的元数据信息,通过并行的 Map Task 将数据库的数据读取出来,然后导入 Hadoop 中。
  (3)当然也可以将 Hadoop 中的数据,导入传统的关系型数据库中。
  (4)它的核心思想就是通过基于 Map Task (只有 map)的 MapReduce 作业,实现数据的并发拷贝和传输,这样可以大大提高效率。

posted @ 2016-11-30 09:37  大数据和AI躺过的坑  阅读(1439)  评论(0编辑  收藏  举报