2021年4月27日
idea本地执行sparksql没有lzo包
摘要： 问题描述： sparksql 本地idea测试运行时，没有lzo依赖，也找不到相应的pom依赖 报错日志： Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoC 阅读全文
posted @ 2021-04-27 18:54 zhengsongsong 阅读(566) 评论(0) 推荐(0) 编辑
Datax往hdfs写数据配置HA高可用
摘要： 问题描述： datax往hdfs写数据如何配置高可用 问题解析： datax官网有相关配置，但是太过于笼统不够详细 解决方案：（nameservice1） "defaultFS":"hdfs://nameservice1","hadoopConfig":{ "dfs.nameservices": " 阅读全文
posted @ 2021-04-27 15:34 zhengsongsong 阅读(2259) 评论(0) 推荐(1) 编辑
HDFS配置HA后，Hive无法读取数据
摘要： 问题描述： 当cdh集群配置高可用后，hdfs 的 active 节点转 standby 后，hive数据无法读取 FAILED: SemanticException Unable to determine if hdfs://hadoop-prod-namenode:8020/user/hive/ 阅读全文
posted @ 2021-04-27 14:58 zhengsongsong 阅读(982) 评论(0) 推荐(0) 编辑