1月28日学习进度

合集 - 每日总结（第五学期寒假）(26)

1.1月10日学习进度01-102.1月17日学习进度01-173.1月20日学习进度01-204.1月21日学习进度01-215.1月23日学习进度01-236.1月26日学习进度01-267.1月27日学习进度01-27

8.1月28日学习进度01-28

9.1月29日学习进度01-2910.1月30日学习进度01-3011.1月31日学习进度01-3112.2月1日学习进度02-0113.2月2日学习进度02-0214.2月3日学习进度02-0315.2月4日学习进度02-0416.2月5日学习进度02-0517.2月6日学习进度02-0618.2月7日学习进度02-0719.2月8日学习进度02-0820.2月9日学习进度02-0921.2月10日学习进度02-1022.2月11日学习进度02-1123.2月12日学习进度02-1224.2月13日学习进度02-1325.2月14日学习进度02-1426.2月15日学习进度02-15

收起

1. Sqoop简介
Sqoop（SQL to Hadoop）是一个用于在Apache Hadoop和关系型数据库之间进行数据传输的工具。
它允许用户将结构化数据从关系型数据库（如MySQL、Oracle、SQL Server等）导入到HDFS或Hive表中，或者将数据从HDFS导出到关系型数据库中。

2. Sqoop架构
(1) Sqoop Client
Sqoop的客户端组件，提供了命令行工具和API，用于与Sqoop Server进行通信，并提交数据导入和导出的任务。

(2) Sqoop Server
Sqoop的服务器组件，负责接收来自客户端的请求，并协调和管理数据导入和导出的任务。Sqoop Server可以在独立模式下运行，也可以与Hadoop集群中的其他组件（如HDFS、YARN）集成。

(3) Connector
Sqoop的连接器，用于与不同类型的关系型数据库进行交互。每个关系型数据库都需要一个相应的连接器来支持数据的导入和导出。Sqoop提供了一些内置的连接器，如MySQL、Oracle、SQL Server等，同时还支持自定义连接器。

(4) Metastore
Sqoop的元数据存储，用于保存与数据导入和导出相关的元数据信息，如表结构、字段映射、导入导出配置等。Metastore可以使用关系型数据库（如MySQL、PostgreSQL）或Hadoop的分布式文件系统（HDFS）来存储元数据。

(5) Hadoop/HDFS
Sqoop与Hadoop生态系统紧密集成，使用Hadoop的分布式文件系统（HDFS）来存储导入的数据。Sqoop可以将关系型数据库中的数据导入到HDFS中，也可以将HDFS中的数据导出到关系型数据库中。