随笔分类 - CDP、HDP以及EMR大数据平台
介绍信版本大数据平台CDP、HDP以及EMR的组件以及使用方法
摘要：一、背景 2019 年，Cloudera 与 Hortonworks 合并后，彻底完成了转型。Cloudera 果断宣布，对 CDH 和 HDP 两条产品线将仅支持到 2022 年。对于两个产品高度重合的部分会做删减和融合，结果就是推出新的数据平台 CDP （Cloudera Data Platfo
阅读全文
摘要：1 本地源配置 服务器本地源没有配置，导致不能连接外网，参考其他可以连接外网的服务器，配置本地源。配置方法： 1.1打开CentOS.repo文件并修改 Vi /etc/yum.repos.d/CentOS.repo 1.2增加yum配置 [base] name=CentOS-$releasever
阅读全文
摘要：一、概述 CDP大数据平台是CDH和HDP合并之后的新版本，使用的hive是3.0版本。CDP在使用上和CDH有很大的不同。 二、Hive默认创建表格不同 CDP默认创建的表格都是事务表；可以进行增、删、改、查操作，不支持设置事务表的相关参数；应该是默认已经设置好了。而CDH需要指定创建的表格时事务
阅读全文
摘要：1、问题现象 2、问题原因 获取默认ccache时，凭据缓存类型未知 3、解决方式 注释掉default_ccache_name属性 sed -ri "s/^ default_ccache_name = (.*)/# default_ccache_name = \1/g" /etc/krb5.con
阅读全文
摘要：1、问题描述 Status: Failed Vertex's TaskResource is beyond the cluster container capability,Vertex=vertex_1597977573448_0003_1_00 [Map 9], Requested TaskRe
阅读全文
摘要：1、问题描述： 2、问题原因： 这种报错跟 kerberos 或者 hive doAs 的配置更改有关 3、解决方法： 把 usercache 和 filecache 清掉就好了
阅读全文
摘要：一、概述 CDP7.1.7版本部署完hive之后，开启了hivemetastore之后，已经把10000的端口占掉了；但是默认部署hive on tez时，hiveserver2的端口还是使用的该端口，会因为端口冲突导致hive on tez的hiverserver2不稳定，时常掉线。 二、问题原因
阅读全文
摘要：一、概述 cdp的hive和hive on tez在兼容性方面做的不够好，正常的安装都会报各种各样的错误，比如安装完hive之后，再安装Hive on tez，会报错：Can't create directory /mnt/ssd/yarn/nm/usercache/urika/appcache/a
阅读全文
摘要：一、问题现象 hbase客户端程序访问开启Kerberos认证的MRS集群的时候，报如下错误，使用jdk版本为1.8.0_252或者1.8.0_242-b08 二、问题原因 jre-8u242及以上版本会根据krb5.conf中是否配置了renew_lifetime属性值，重新设置kdcOption
阅读全文
摘要：一、准备工作 hive本身支持hive on mr、hive on spark 和hive on tez三种执行引擎，CDH6.3.x及其以下版本都没有支持tez执行引擎，需要使用的话需要单独引入。由于CDH的hadoop版本进行了改造，因此tez的开源release版本不能直接使用，需要集成CDH
阅读全文
