05 2020 档案

DataX向写入到HDFS文件时报权限错误

摘要：一、概述使用DataX进行数据同步时，如果没有开启kerberos，需要配置hdfsUser，不然会报权限错误；错误信息如下二、错误分析查看DataX的HdfsWriter插件，发现它底层的实现逻辑是：如果没有开启kerberos，那么会使用hdfsUser用户将数据写入到HDFS中；如果hd 阅读全文

posted @ 2020-05-21 11:04 虎啸千峰阅读(3181) 评论(1) 推荐(0) 编辑

Oracle批量插入数据时报字段无法识别错误

摘要：一、概述 oracle数据字段一般都是默认大写，当我们的sql语句中使用小写字段时，有时候可以正常插入；但是严格模式下会报字段无法识别的问题。示例如下： Caused by: java.sql.BatchUpdateException: ORA-00904: "TESTID": 标识符无效. 二、阅读全文

posted @ 2020-05-15 17:18 虎啸千峰阅读(600) 评论(0) 推荐(0) 编辑

TDH使用客户端操作方式

摘要：一、概述 TDH使用方式和CDH有很大不同，需要先下载客户端，然后source其中的init.sh文件，使之生效，然后才能使用hdfs命令。二、步骤 1、进入到管理界面，然后下载客户端 2、建立一个个人目录 mkdir /home/demo 然后将下载的客户端放入该目录中，解压客户端文件 sour 阅读全文

posted @ 2020-05-08 19:48 虎啸千峰阅读(1841) 评论(0) 推荐(0) 编辑