12 2021 档案

SQL不规范引起数据超出Hadoop最大数据块问题

摘要：一、问题描述客户现场报错数据块已经到达hadoop设置的最大限制：File has reached the limit on maximum number of blocks (dfs.namenode.fs-limits.max-blocks-per-file): 10000 >= 10000。阅读全文

posted @ 2021-12-29 10:26 虎啸千峰阅读(694) 评论(0) 推荐(0) 编辑

CDP的kerberos开通后访问hdfs和hive都失败原因

摘要：1、问题现象 2、问题原因获取默认ccache时，凭据缓存类型未知 3、解决方式注释掉default_ccache_name属性 sed -ri "s/^ default_ccache_name = (.*)/# default_ccache_name = \1/g" /etc/krb5.con 阅读全文

posted @ 2021-12-17 19:00 虎啸千峰阅读(254) 评论(0) 推荐(0) 编辑

Hive on tez 执行作业时报错请求内存大于允许内存

摘要：1、问题描述 Status: Failed Vertex's TaskResource is beyond the cluster container capability,Vertex=vertex_1597977573448_0003_1_00 [Map 9], Requested TaskRe 阅读全文

posted @ 2021-12-17 17:17 虎啸千峰阅读(1211) 评论(0) 推荐(0) 编辑

使用hive on tez时Yarn创建目录失败

摘要：1、问题描述： 2、问题原因：这种报错跟 kerberos 或者 hive doAs 的配置更改有关 3、解决方法：把 usercache 和 filecache 清掉就好了阅读全文

posted @ 2021-12-17 17:03 虎啸千峰阅读(102) 评论(0) 推荐(0) 编辑

CDP7.1.7部署hive on tez 后，因为hive和hive on tez端口一致导致hive on tez不稳定

摘要：一、概述 CDP7.1.7版本部署完hive之后，开启了hivemetastore之后，已经把10000的端口占掉了；但是默认部署hive on tez时，hiveserver2的端口还是使用的该端口，会因为端口冲突导致hive on tez的hiverserver2不稳定，时常掉线。二、问题原因阅读全文

posted @ 2021-12-15 18:42 虎啸千峰阅读(427) 评论(0) 推荐(0) 编辑

CDP7.1.7安装hive on tez 报错Can't create directory /mnt/ssd/yarn/nm/usercache/urika/appcache/application_1424508393097_0004 - Permission denied

摘要：一、概述 cdp的hive和hive on tez在兼容性方面做的不够好，正常的安装都会报各种各样的错误，比如安装完hive之后，再安装Hive on tez，会报错：Can't create directory /mnt/ssd/yarn/nm/usercache/urika/appcache/a 阅读全文

posted @ 2021-12-15 18:34 虎啸千峰阅读(558) 评论(0) 推荐(0) 编辑

MRS开启Kerberos认证的集群,客户端使用中报Message stream modified (41)错误

摘要：一、问题现象 hbase客户端程序访问开启Kerberos认证的MRS集群的时候，报如下错误，使用jdk版本为1.8.0_252或者1.8.0_242-b08 二、问题原因 jre-8u242及以上版本会根据krb5.conf中是否配置了renew_lifetime属性值，重新设置kdcOption 阅读全文

posted @ 2021-12-15 18:26 虎啸千峰阅读(1335) 评论(0) 推荐(0) 编辑