随笔分类 - Sqoop
sqoop
摘要：sqoop中，如果数据中本身有换行符，会导致数据错位； 解决办法： 在sqoop import时修改配置文件 添加了： delims Drops \n, \r, and \01 from string fields when importing to Hive.
阅读全文
摘要：sudo -u hive sqoop export --connect "jdbc:mysql://192.168.22.201/LauncherDB?useUnicode=true&characterEncoding=utf-8" --username root --password xxxxx-
阅读全文
摘要：记录sqoop同步失败问题解决过程，过程真的是很崎岖。事发原因:最近突然出现sqoop export to mysql时频繁出错。看了下日志是卡在某条数据过不去了，看异常。看sqoop生成的mr并未发现问题。最后把要export的原始数据拿notepad++打开发现中断的数据是奇怪的乱码，查了一下是
阅读全文
摘要：之前我还在想了解下datax，是否有可能替换sqoop，但了解后发现，datax和sqoop的业务场景是不同的。前者适合异构数据库的同步，后者适合hdfs与rdbms互相之间的同步。针对sqoop的应用场景使用datax那么速度会有加倍的差距。主要原因在于datax是一个节点写数据，而sqoop...
阅读全文
摘要：我使用的是CDH版本的这是我的sqoop脚本sudo -u hive sqoop import --connect jdbc:mysql://xxxx/rom3 --username xxx --password xxx --table xxx --hive-import --hive-table ...
阅读全文
