随笔分类 - CDH
摘要:如果机器ip变更的话,cdh将无法正常启动,需要修改两个地方的ip地址 1.数据库scm库的HOSTS表,将IP_ADDRESS字段的ip修改成变更后的ip地址 2.修改/etc/cloudera-scm-agent/config.ini中的ip地址 然后进行重启
阅读全文
摘要:可以使用CM提供的api查询cdh集群的信息 http://cloudera.github.io/cm_api/ 7.0.3的api文档 https://archive.cloudera.com/cm7/7.0.3/generic/jar/cm_api/apidocs/index.html 查询im
阅读全文
摘要:CDH安装官方参考文档: https://www.cloudera.com/documentation/enterprise/5-16-x/topics/configure_cm_repo.html 如果是在生产环境进行安装,建议查看cloudera官方提供的机型建议 https://docs.cl
阅读全文
摘要:HUE是一个支持数据库和数据仓库的开源SQL编辑器,官网 https://gethue.com/ HUE由python+django开发,其登录界面如下 HUE官方支持多个认证方式,比如 django.contrib.auth.backends.ModelBackend,desktop.auth.b
阅读全文
摘要:参考:CDH配置Kerberos和Sentry (超详细) 添加服务 选择sentry 填写mysql账号密码 添加成功 Sentry与Hive/Impala集成 1.配置Hive集成Sentry 取消hiveserver2的用户模拟 确保hive用户能够提交MR任务 在Hive配置项中搜索“启用数
阅读全文
摘要:集成ldap之前请参考安装好openldap:Ubuntu16.04安装openldap和phpldapadmin 1.hadoop集成ldap HDFS 的文件权限与 Linux/Unix 系统类似,也是采用UGO模型,分成用户、组和其他权限。其权限you两种实现方式:1.基于Linux/Unix
阅读全文
摘要:1.在CDH管理页面进入parcels,下载GPLEXTRAS lintong@master:/opt/cloudera/parcel-repo$ ls | grep GPLEXTRAS GPLEXTRAS-5.16.2-1.cdh5.16.2.p0.8-xenial.parcel GPLEXTRA
阅读全文
摘要:1.kudu已经包含在cdh的parcels中了,所以直接添加服务 2.选择kudu,然后安装 3.在impala中配置kudu,然后重启 参考:CDH5.16.1 安装配置Kudu 如果安装的时候报错如下 parceltagoversatisfiedexception: Multiple parc
阅读全文
摘要:1.对于机型不同的机器,可以通过角色组来进行统一归类管理 比如对于HDFS组件,有的机型的磁盘为12块,有的机型的磁盘为16块,那么可以通过角色组将配置一致的机器分到一起 在HDFS组件下,选择实例 再点击角色组,可以选择创建角色组 其中DataNode Default Group有100台,每台有
阅读全文
摘要:1.采用parcels包的方式来安装flink 编译parcels请参考:制作Flink的Parcel包和csd文件 CDH5.16.1 集成 Flink-1.10.0 cdh5.15.1集成flink说明 2.将parcels包拷贝到对应目录 lintong@master:/opt/clouder
阅读全文