Sqoop参数使用大全
最近看了以前写的Sqoop脚本，就顺手整理一下数据导入导出的相关参数使用方法及解释。
| 参数 | 解释 |
| --connect <jdbc-uri> | 关系数据库连接地址，比如mysql的 jdbc:mysql://xx.x.35.xx:3306/mytest |
| --connection-manager <class-name> | 连接管理者DriverManager，一般都是用默认的，不用特意设置 |
| --driver <class-name> | 驱动类，都是用默认的，不用特意设置 |
| --hadoop-home <dir> | 如果指定该参数值，则会覆盖掉sqoop-env.sh的值 |
| --help | 帮助文档 |
| -P | 从控制台读取输入的密码，在执行命令时再输入密码 |
| --password | 输入关系数据库密码 |
| --username | 输入关系数据库的账号 |
| --verbose | 打印运行的详细信息 |
| --connection-param-file <filename> | 指定存储数据库连接参数的属性文件，可不设置，指定默认值 |
| --append | 追加数据到已经存在的数据集HDFS，使用直接添加--append即可 |
| --as-avrodatafile | 导入数据到avro格式文件 |
| --as-sequencefile | 将数据导入到一个sequence文件中 |
| --as-textfile | 将数据导入到一个普通文本文件中 |
| --boundary-query <statement> | 边界查询，也就是在导入前先通过SQL查询得到一个结果集，boundary--query 'select id,name from test where id=999' |
| --columns <col,col,col…> | 指定要导入的字段 |
| --direct | 快速模式，使用数据库自带的导入导出工具，官网介绍这样更快 |
| --direct-split-size <n> | direct导入的基础上，对导入的流按字节数分块，可实现把大文件拆分为多个小文件 |
| --inline-lob-limit <n> | 设置大对象数据类型的最大值 |
| -m,--num-mappers <n> | 设置map个数，不能大于节点个数 |
| -e,--query <statement> |
从查询结果中导入数据，该参数使用需指定--target-dir，在查询语句中一定要有where条件且在where条件中需要包含$CONDITIONS，示例:--query 'SELECT a.*, b.* FROM a JOIN b on (a.id == b.id) WHERE $CONDITIONS' \ --split-by a.id --target-dir /user/foo/joinresults |
| --split-by <column-name> | 设置切分数据的字段，一般为主键 |
| --table <table-name> | 关系数据库表名 |
| --target-dir <dir> | 指定的hdfs路径 |
| --warehouse-dir <dir> | --target-dir不能同时使用，指定数据导入的hdfs目录 |
| --where <where clause> | 过滤条件 |
| -z/--compress | 设置压缩算法，比如gzip |
| --compression-codec <c> | 压缩编码，默认为gzip |
| --null-string <null-string> | 不指定null字符串会被使用 |
| --null-non-string <null-string> | 不指定null字符串会被使用 |
| --map-column-java <mapping> | 重写SQL到java类型的映射，--map-column-java id=String,value=Integer |
| --map-column-hive | 重写Hive到java类型的映射 |
| --check-column (col) | 用来判断增量导入的字段 |
| --incremental (mode) | append追加模式和lastmodified最后修改时间两种模式，比如指定大于last-value的值 |
| --last-value (value) | 上次导入的最大值 |
| --enclosed-by | 给字段值前加上指定的字符 |
| --escaped-by <char> | 对字段中的双引号加转义符 |
| --fields-terminated-by <char> | 设定每个字段是以什么符号作为结束，默认为逗号 |
| --lines-terminated-by <char> | 设定每行记录之间的分隔符，默认是\n |
| --mysql-delimiters | Mysql默认的分隔符设置，字段之间以逗号分隔，行之间以\n分隔，默认转义符是\ |
| --optionally-enclosed-by <char> | 给带有双引号或单引号的字段值前后加上指定字符 |
| --input-enclosed-by <char> | 对字段值前后加上指定字符 |
| --input-escaped-by <char> | 对含有转移符的字段做转义处理 |
| --input-fields-terminated-by <char> | 字段之间的分隔符 |
| --input-lines-terminated-by <char> | 行之间的分隔符 |
| --input-optionally-enclosed-by <char> | 给带有双引号或单引号的字段前后加上指定字符 |
| --hive-delims-replacement <arg> | 用自定义的字符串替换掉数据中的\r\n等 |
| --hive-drop-import-delims | 在导入数据到hive时，去掉数据中的\r\n等字符 |
| --hive-partition-key | 分区字段，默认为string |
| --hive-partition-value | 指定分区字段的值 |
| --hive-home | hive安装目录，该参数覆盖之前默认配置的目录 |
| --hive-overwrite | 覆盖Hive中存在的数据 |
| --create-hive-table | 默认为false，如果目标表存在，创建表会失败 |
| --hive-table | hive表名，默认为mysql的表名 |
| --table | 指定关系数据库的表名 |
| --hbase-create-table | 创建Hbase表 |
| --hbase-row-key | 指定字段作为rowkey，复合键用逗号隔开 |
| --hbase-table | 指定hbase表名 |
| --column-family | 设置hbase的列族 |
| --bindir | 指定生成的java文件和jar包的输出路径 |
| --class-name | 设置生成的java文件的名称 |
| --jar-file | Codegen工具置为不可用，使用指定的jar包 |
| --outdir | 生成的java文件存放路径 |
| --package-name | 报名，比如com.test会生成com和test两级目录 |
| --update-key | 更新的列名称，多个用逗号隔开 |
| --update-mode | 指定更新策略，包括：updateonly（默认）、allowinsert |
| --staging-table | 在数据导出到数据库之前，数据临时存放的表名称 |
| --clear-staging-table | 清除工作区中临时存放的数据 |
| --batch | 使用批量模式导出 |
| --input-optionally-enclosed-by | 给带有双引号或单引号的字段前后加上指定字符 |
