乱七八糟的BUG

使用sqoop进行抽取的时候 报错信息如下：

Error: java.io.IOException: SQLException in nextKeyValue

 

问题原因：由于mysql的驱动包导致的

解决方案：将sqoop里面的mysql驱动包中的mysql8.0 修改为mysql5.+

2.sqoop在导入mysql数据时出现：Cause: java.sql.SQLException: HOUR_OF_DAY: 2 -> 3 异常；

问题原因是 mysql的时区问题

解决方案：在数据库链接上追加时区配 serverTimezone=Asia/Shanghai，指定东八区

3.hive 在hue使用 CREATE TABLE IF NOT EXISTS daisy_push_test as select * from ods_user_db_j1_doctor_user limit 100 语句创建表报错

Error whil compiling statement:FAILED : SemmanticException 0:0 creating temporary folder on:hdfs://......

 

原因是  当前用户对hive这个数据库没有权限

解决方案：hadoop fs -chmod  -R 777 /user/hive/warehouse/ods.db 对这个数据库进行授权

4.使用sqoop从mysql导入hive的过程中，如果mysql里面的字段类型是tniyint的类型，导入hive中会变成boolea类型

解决方案 在sqoop的脚本中的 jdbc连接加一个参数，tinyInt1isBit=false 可以解决这个问题

5.hue 查询时出现 hue database is locked

这个原因是由于 hue默认的额数据库是sqllit，如果多个查询会导致sqlit 拒绝连接 导致这个错误。

解决办法，将hue的数据库切到mysql

可以在hue 上面直接进行配置，会自动在mysql里面创建表。

 

 

hive字段注解乱码

  https://blog.csdn.net/eason_oracle/article/details/53811954

impala没有数据  确认hive中有数据之后，通过界面刷新impala的元数据

 

安装cdh，hue使用mysql作为数据源，检验用户名密码失败

报错信息如下：

Unexpected error.Unable to verify database connection.

 

查看日志：

 

发现是缺少libmysqlclient.so.18.0.0 包

 

解决方案：

 

将包下载下来，上传到服务器 /usr/lib64/mysql

 

创建一个软连接