Sqoop - 使用场景
Oracle >> HDFS
sqoop import --connect jdbc:oracle:thin:@<oracle_host>:<oracle_port>/<database_name> \
--username <username> \
--password <password> \
--fetch-size 1000 -m 1 \
--query "select column1,to_char(column2,'yyyy-mm-dd hh24:mi:ss')
from <table_name>
where column2 >= to_date('2021-03-01 00:00:00','yyyy-mm-dd hh24:mi:ss')
and column2 < to_date('2023-12-29 00:00:00','yyyy-mm-dd hh24:mi:ss');" \
--target-dir /resource/data202312 \
--fields-terminated-by "\\01" \
--hive-drop-import-delims \
--null-string '\\N' \
--null-non-string '\\N'
<oracle_host>:<oracle_port>：是Oracle服务器的地址和端口号（一般为1521）
<database_name>：是数据库名称
<username>和<password>：是MySQL的用户名和密码
--fetch-size 1000：是用于指定每次从源数据库中读取的记录数。默认情况下，Sqoop会使用JDBC的fetchSize属性来设置这个值，通常默认为32767。设置较小的fetchSize值可以减少内存使用量，但可能会增加网络IO次数。而设置较大的fetchSize值则可以减少网络IO次数，但可能会增加内存使用量。
-m 1：是用于指定并行度，即要使用的MapReduce任务数。默认情况下，Sqoop会根据目标表的大小和集群的资源情况自动选择合适的并行度。通过设置-m参数，可以手动指定并行度，以更好地控制数据抽取的速度和资源消耗。
--fields-terminated-by "\01"：这个参数指定字段之间的分隔符为\01（ASCII码中的控制字符）。这通常用于处理以非标准字符（如制表符）分隔的文件，或者需要自定义分隔符的情况。
--hive-drop-import-delims：这个参数指示Sqoop在将数据导入Hive时删除输入字段之间的分隔符。这有助于避免在Hive表中创建额外的字段。
--null-string '\\N'：这个参数指定空字符串的表示方式为\N。在处理文本数据时，这有助于正确识别和处理空值。
--null-non-string '\\N'：这个参数指定非字符串类型的空值的表示方式为\N。这有助于在处理复杂数据类型时正确识别和处理空值。
MySQL >> HDFS
sqoop import \
--connect jdbc:mysql://<mysql_host>:<mysql_port>/<database_name> \
--username <username> \
--password <password> \
--table <table_name> \
--target-dir /user/<hdfs_user>/<hdfs_directory>
--num-mappers <num_of_mappers> \
--mappers-per-node <mappers_per_node> \
--split-by <split_column>
<mysql_host>:<mysql_port>是MySQL服务器的地址和端口号
<database_name>是数据库名称
<username>和<password>是MySQL的用户名和密码
<table_name>是要抽取的表名
/user/<hdfs_user>/<hdfs_directory>是HDFS的目标目录
<num_of_mappers>是并行度（即，要使用的MapReduce任务数）
<mappers_per_node>是每个节点上要运行的MapReduce任务数
<split_column>是用于分区的列
参数优化
--num-mappers：该参数用于控制并行度，即要使用的MapReduce任务数。根据数据量和集群规模进行调整，以提高数据抽取的速度。增加并行度可以提高速度，但也会增加资源消耗。--mappers-per-node：该参数用于指定每个节点上要运行的MapReduce任务数。根据集群的节点数和每个节点的资源情况进行调整，以充分利用集群资源并提高数据抽取的速度。--split-by：该参数用于指定用于分区的列。根据实际情况选择适当的列进行分区，以提高数据抽取的并行度和效率。--compress：使用压缩可以减少数据传输的大小，提高数据传输的速度。Sqoop支持多种压缩格式，如Snappy和Lz4等。根据实际情况选择适当的压缩格式进行数据压缩。--compress-codec：该参数用于指定压缩编解码器。根据实际情况选择适当的编解码器进行数据压缩。--num-fetchers：该参数用于控制同时从MySQL数据库中读取数据的线程数。根据实际情况进行调整，以提高数据抽取的速度。增加线程数可以提高速度，但也会增加资源消耗。
