07 2020 档案

Mysql编码不一致和时区相差14小时解决方法

摘要：一、Oracle数据库是GBK编码导入到UTF-8的mysql数据库出现乱码 Oracle数据库有一套自己的编码方法，当客户端和数据库编码不一致时会自动转换编码方式；客户端获取数据时Oracle会自动将GBK转为UTF-8，因此，需要在Mysql的url上设置编码为UTF-8保持和mysql的一直即阅读全文

posted @ 2020-07-31 09:24 虎啸千峰阅读(1208) 评论(0) 推荐(0) 编辑

Datax执行job由于python版本引起的报错

摘要：一、python版本问题报错显示 java.lang.Exception: File "/home/hundsun/workspace/dap/tools/bdata-datago/DataX/bin/datax.py", line 114 print readerRef ^SyntaxError: 阅读全文

posted @ 2020-07-15 14:26 虎啸千峰阅读(1886) 评论(0) 推荐(0) 编辑

Parquet模式写入分区错误修改

摘要：一、概述将数据以parquet模式写入到hive的分区表中时，底层源码有个错误，在进行分割字段判断时，没有引用已传入字符，多了一个“=”；该错误在hive的client中也会碰到错误原因是底层分割符引用错误，二、解决方法从https://github.com/apache/parquet-m 阅读全文

posted @ 2020-07-13 20:25 虎啸千峰阅读(309) 评论(0) 推荐(0) 编辑

Kerberos开启后TDH远程连接hive数据库

摘要：一、TDH开启kerberos后登陆hive方式 TDH的hive是继承到平台中的，需要使用远程的方式连接hive数据库，当kerberos开启后，需要添加kerberos协议规则；使用方式如下 beeline -u 'jdbc:hive2://localhost:10000/demo;princi 阅读全文

posted @ 2020-07-10 10:40 虎啸千峰阅读(1154) 评论(0) 推荐(0) 编辑

Kerberos报错：连接失败两种报错方法解决

摘要：一、没有开通kerberos而使用kerberos方式连接报错报错：Peer indicated failure: Unsupported mechanism type GSSAPI 这是因为hive所在集群已经关闭了kerberos，但是连接字符串还是采用kerberos方式就会爆此错误；此时阅读全文

posted @ 2020-07-10 10:18 虎啸千峰阅读(6743) 评论(0) 推荐(0) 编辑

Datax写入parquet类型的hive表时处理timestamp类型字段的方法

摘要：一、概述 1、 hive中的Timestamp Hive在0.8的版本后开始支持Timestamp的格式。Hive在储存时间戳的时候会先把时间转成UTC的时间，然后再把转换后的时间存储到Parquet文件中。在读取Parquet文件的时候Hive会把时间从UTC时间再转化回成本地的时间。这样的话，如阅读全文

posted @ 2020-07-08 20:08 虎啸千峰阅读(2650) 评论(0) 推荐(0) 编辑