关于sqoop导出数据到mysql导出一半的时候出错的解决方案(:Data truncation: Data too long for column 'BORROWERNAME' at row 88)
最近在做数据迁移的工作,使用到sqoop的导入和导出工具,具体操作是将hive当中的数据查询出来插入到新的表当中,然后将数据又导入到mysql的关系型数据库当中。
我将数据插入到hive将的一个新的表当中,但是那插入到一半的时候数据就插入不进去了,一直纳闷怎么可能插入一半就插不进去了那,说来也奇怪。于是就去看yarn上面的相关的日志发现报了如下的错误:
2018-09-10 08:28:21,009 INFO [IPC Server handler 14 on 60348] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Diagnostics report from attempt_1536298905044_0080_m_000001_0: Error: java.io.IOException: Can't export data, please check failed map task logs at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:122) at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:39) at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145) at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:793) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1917) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) Caused by: java.io.IOException: com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'BORROWERNAME' at row 88 at org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.write(AsyncSqlRecordWriter.java:233) at org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.write(AsyncSqlRecordWriter.java:46) at org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.write(MapTask.java:664) at org.apache.hadoop.mapreduce.task.TaskInputOutputContextImpl.write(TaskInputOutputContextImpl.java:89) at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.write(WrappedMapper.java:112) at org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:90) ... 10 more
从上面的报错肯定是在数据插入到mysql当中的时候的字段太长,数据库的长度太短造成的。但是我原来的数据类型是varchar(100) 存一个名字的长度足够了啊。怎么就插入不进去了,于是我将长度再调大一点,发现还是不行。
那我只能改数据类型了,于是我将之前的数据类型由原来varchar(100)改为了text类型。然后再去执行sqoop的导出的时候,这个时候就可以了。所以遇到这种问题。处理的方式主要两种吧:
(1)检查数据的长度;
(2)改数据的字段类型。
至于为什么要改成text类型。我再检查一下具体的字段长度。这里主要是想说解决这种问题的方法。