Sqoop的导入及可能遇到的问题

导入数据

原文链接：https://blog.csdn.net/qichangjian/java/article/details/88116434

导入到 hdfs例子

sqoop import \
#--connect jdbc:mysql://hadoop102:3306/$db_name \
--connect "jdbc:oracle:thin:@ip:1521:服务名" \
--username "xxx" \
--password "xxx" \
--target-dir "$db_dir" \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\\t" \
--query "$sql"

参数	说明
`--append`	数据追加到hdfs已经存在的数据组中。使用该参数，sqoop将把数据先导入到一个临时目录中，避免文件重名。
`--as-avrodatafile`	将数据导入到Avro数据文件中
`--as-sequencefile`	将数据导入到sequence文件中
`--as-textfile`	将数据导入到普通文本文件中。最终可以在hive中通过sql语句查询出结果。
`--enclosed-by '\"'`	字段值前后加上指定字符，比如双引号
`--columns<col,col>`	指定导入的字段，格式如：`--columns id,username`
`-m,--num-mappers`	启动N个map来并行导入数据，默认是4个，最好不要将数字设置为高于集群的节点数
`--query，-e <sql>`	sql语句查询结果集。该参数使用时必须指定`–target-dir`、`–hive-table`，必须在where条件中需要包含 `\$CONDITIONS。`
`--boundary-query <statement>`	边界查询。在导入前先通过SQL查询得到一个结果集，然后导入的数据就是该结果集内的数据。格式如：`--boundary-query 'select id,no from t where id = 3'`，表示导入的数据为id=3的记录，或者 `select min(<split-by>), max(<split-by>) from <table name>`，注意查询的字段中不能有数据类型为字符串的字段，否则会报错
`--table <table-name>`	关系数据库表名，数据从该表中获取
`--delete-target-dir`	如果目标目录存在，先删除目录
`--target-dir <dir>`	指定hdfs路径
--fields-terminated-by "\t"	每个字段是以什么符号作为结束的，默认是逗号
`--null-string '\\N' \` `--null-non-string '\\N' \`	`为了避免空值时，没有数据`
`--where`	查询条件，示例：`--where "id = 2"`
`-z,--compress`	压缩参数，默认情况下数据是没被压缩的，通过该参数可以使用gzip压缩算法对数据进行压缩，适用于SequenceFile, text文本文件, 和Avro文件
`--compression-codec`	Hadoop压缩编码，默认是gzip
`--direct`	直接导入模式，使用的是关系数据库自带的导入导出工具。这样导入会更快支持的数据库类型与版本： * myslq 5.0 以上 * oracle 10.2.0 以上
`--direct-split-size`	在使用上面direct直接导入的基础上，对导入的流按字节数分块，特别是使用直连模式从PostgreSQL导入数据的时候，可以将一个到达设定大小的文件分为几个独立的文件。
`--split-by <column>`	`表的列名，用来切分工作单元，一般后面跟主键ID`
`--inline-lob-limit`	`设定大对象数据类型的最大值`

导入Hive

sqoop import \
--connect "jdbc:oracle:thin:@ip:1521:服务名" \
--username "xx" \
--password "xx" \
--query "$sql" \
--hive-table test.view_trjn \
--hive-drop-import-delims \
--target-dir "$db_dir" \
--fields-terminated-by "\\t" \
--hive-overwrite \
--null-string '\\N' \
--null-non-string '\\N' \--hive-import

参数	说明
`--hive-overwrite`	覆盖掉在hive表中已经存在的数据
`--hive-table`	后面接要创建的hive表
–hive-partition-value “2018-08-08”	指定分区表的值
`–hive-partition-key “dt”`	`指定分区表的字段`
`--hive-delims-replacement“ ”`	导入到Hive时，用用户定义的字符串替换字符串字段中的\n、\r和\01
`--hive-drop-import-delims`	`从字符串字段中删除\n、\r和\01`
`--hive-import`	`指定是导入 Hive`

sqoop数据导出

参数	说明
--direct	快速导入
--export-dir	HDFS 导出数据的目录
-m,--num-mappers	都少个 map 线程
--table	导出哪个表
--call	存储过程
--update-key	通过哪个字段来判断更新
--update-mode	插入模式，默认是只更新，可以设置为 allowinsert.
--input-null-string	字符类型 null 处理
--input-null-non-string	非字符类型 null 处理
--staging-table	临时表
--clear-staging-table	清空临时表
--batch	批量模式

HDFS —> MySQL

sqoop export \
--connect jdbc:mysql://hadoop01:3306/test \
--username hadoop \
--password root \
--table book \
--export-dir /sqoopdata \
--fields-terminated-by ','

hive----> MySQL

sqoop export \
--connect jdbc:mysql://hadoop01:3306/test \
--username hadoop \
--password root \
--table book \
--export-dir /user/hive/warehouse/uv/dt=2011-08-03 \
--input-fileds-terminated-by '\t

hbase---->MySQL
默认的没有命令直接将hbase中的数据导入到MySQL，因为在hbase中的表数据量通常比较大，如果一次性导入到MySQL，可能导致MySQL直接崩溃。
但是可以用别的办法进行导入：
将 Hbase 数据，扁平化成 HDFS 文件，然后再由 sqoop 导入将 Hbase 数据导入 Hive 表中，然后再导入 mysql 直接使用 Hbase 的 Java API 读取表数据，直接向 mysql 导入，不需要使用 sqoop

FAQ

在使用sqoop从oracle导数到hive，报错：sqoop could not load db driver class:oracle.jdbc.OracleDriver

在安装sqoop server的节点上放oracle的驱动包

/opt/cloudera/parcels/CDH/lib/sqoop/lib/ojdbc6.jar

并且修改权限为777

Sqoop将Oracle中的数据导入到Hive异常如下

20/05/25 11:30:55 INFO mapreduce.Job:  map 0% reduce 0%
20/05/25 11:31:35 INFO mapreduce.Job: Task Id : attempt_1578988458435_7984_m_000000_0, Status : FAILED
Error: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLRecoverableException: IO Error: The Network Adapter could not establish the connection
    at org.apache.sqoop.mapreduce.db.DBInputFormat.setConf(DBInputFormat.java:167)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:76)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:136)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:751)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:170)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:164)
Caused by: java.lang.RuntimeException: java.sql.SQLRecoverableException: IO Error: The Network Adapter could not establish the connection
    at org.apache.sqoop.mapreduce.db.DBInputFormat.getConnection(DBInputFormat.java:220)
    at org.apache.sqoop.mapreduce.db.DBInputFormat.setConf(DBInputFormat.java:165)
    ... 9 more
Caused by: java.sql.SQLRecoverableException: IO Error: The Network Adapter could not establish the connection
    at oracle.jdbc.driver.T4CConnection.logon(T4CConnection.java:458)
    at oracle.jdbc.driver.PhysicalConnection.<init>(PhysicalConnection.java:546)
    at oracle.jdbc.driver.T4CConnection.<init>(T4CConnection.java:236)
    at oracle.jdbc.driver.T4CDriverExtension.getConnection(T4CDriverExtension.java:32)
    at oracle.jdbc.driver.OracleDriver.connect(OracleDriver.java:521)
    at java.sql.DriverManager.getConnection(DriverManager.java:664)
    at java.sql.DriverManager.getConnection(DriverManager.java:247)
    at org.apache.sqoop.mapreduce.db.DBConfiguration.getConnection(DBConfiguration.java:302)
    at org.apache.sqoop.mapreduce.db.DBInputFormat.getConnection(DBInputFormat.java:213)
    ... 10 more
Caused by: oracle.net.ns.NetException: The Network Adapter could not establish the connection
    at oracle.net.nt.ConnStrategy.execute(ConnStrategy.java:392)
    at oracle.net.resolver.AddrResolution.resolveAndExecute(AddrResolution.java:434)
    at oracle.net.ns.NSProtocol.establishConnection(NSProtocol.java:687)
    at oracle.net.ns.NSProtocol.connect(NSProtocol.java:247)
    at oracle.jdbc.driver.T4CConnection.connect(T4CConnection.java:1102)
    at oracle.jdbc.driver.T4CConnection.logon(T4CConnection.java:320)
    ... 18 more
Caused by: java.net.NoRouteToHostException: No route to host (Host unreachable)
    at java.net.PlainSocketImpl.socketConnect(Native Method)
    at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)

也可能是下面的错误

ERROR manager.SqlManager: Error executing statement: java.sql.SQLRecoverableException: IO 错误: Connection reset
java.sql.SQLRecoverableException: IO 错误: Connection reset
	at oracle.jdbc.driver.T4CConnection.logon(T4CConnection.java:467)
	at oracle.jdbc.driver.PhysicalConnection.<init>(PhysicalConnection.java:546)
	at oracle.jdbc.driver.T4CConnection.<init>(T4CConnection.java:236)
	at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.net.SocketException: Connection reset
	at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:113)
	at java.net.SocketOutputStream.write(SocketOutputStream.java:153)
	... 25 more
18/09/28 09:46:20 ERROR tool.ImportTool: Import failed: java.io.IOException: No columns to generate for ClassWriter
	at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1664)

进入 $JAVA_HOME/jre/lib/security目录下的java.security文件

cd $JAVA_HOME/jre/lib/security

vim java.security
修改securerandom.source=file:/dev/../dev/urandom，如果这个参数不管用改为securerandom.source=file:///dev/urandom 或手动添加参数-D mapred.child.java.opts="-Djava.security.egd=file:/dev/../dev/urandom"

如果依旧有问题进行以下操作

export HADOOP_OPTS=-Djava.security.egd=file:/dev/../dev/urandom

sqoop import -D mapred.child.java.opts="-Djava.security.egd=file:/dev/../dev/urandom"

先在命令行或脚本设置HADOOP_OPTS，然后再执行sqoop import就可以了，最好加上mapred.child.java.opts参数,并且在第二次导入的时候一定要加上--hive-overwrite参数。
注：有时候-m需要设置成1才可以。刚开始我将-m设置成2报错，我设置成1就可以了。

在脚本中export…和sqoop import -D mapred.child.java.opts都是不能少的。

This problem occurs primarily due to the lack of a fast random number generation device on the host where the map tasks execute.

参考：http://www.hohode.com/2018/09/28/Sqoop-Oracle-java-sql-SQLRecoverableException-IO-%E9%94%99%E8%AF%AF-Connection-reset/

posted @ 2020-05-21 18:08 鱼丸河粉阅读(5867) 评论(0) 编辑收藏举报

刷新页面返回顶部

鱼丸粗面