CDP大数据平台hive表格与CDH的不同
一、概述
CDP大数据平台是CDH和HDP合并之后的新版本,使用的hive是3.0版本。CDP在使用上和CDH有很大的不同。
二、Hive默认创建表格不同
CDP默认创建的表格都是事务表;可以进行增、删、改、查操作,不支持设置事务表的相关参数;应该是默认已经设置好了。而CDH需要指定创建的表格时事务表并且需要设置事物操作参数:hive.support.concurrency=true;和hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;才可以对事务表进行删除和更新操作。
三、Hive操作表格方式不同
CDH直接链接hive的hiveserver2就可以通过jdbc的方式操作hive表格;而CDP将hive分为了hive组件、TEZ组件和hive on tez 三部分;三者缺一不可;安装完hive和tez之后,需要再安装hive on tez,并且修改hive on tez的默认端口10000位其他值,不然会报错与hive的端口冲突。再操作读写hive表格时需要链接hive on tez的hiveserver2。
不然会报错:
由此可见,hive on tez 是将hive和tez搭建起来的桥梁,需要通过hive on tez的服务来操作CDP的hive表格。
四、yarn资源队列创建方式不同
4.1 CDH创建资源队列方式
CDH需要先进入到yarn组件,然后使用yarn提供的界面可以直接创建yarn的执行任务的队列。
4.2 CDP创建资源队列方式
CDP直接通过管理界面,进入到yarn的Yarn Queue Manger UI来进行操作。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 【杭电多校比赛记录】2025“钉耙编程”中国大学生算法设计春季联赛(1)