摘要: ● 系统环境说明 Linux环境:centos7.4 CDH:5.16.1 Java:1.8.0_131 LDAP版本:2.4.44 Kerberos版本:1.15.1 ● 集群配置 机器数量:50 内存:64G 硬盘:4T CPU核心数:32 关于Kerberos与Ldap两个方案,此处就不再赘述 阅读全文
posted @ 2020-06-11 17:03 仓皇 阅读(803) 评论(0) 推荐(0) 编辑
摘要: ● 系统环境说明 Linux环境:centos7.4 CDH:5.16.1 Java:1.8.0_131 Kerberos版本:1.15.1 ● 集群配置 机器数量:50 内存:64G 硬盘:4T CPU核心数:32 Kerberos部署 安装 cdh01.ali.aiwaystack.com作为K 阅读全文
posted @ 2020-06-09 15:29 仓皇 阅读(2058) 评论(0) 推荐(0) 编辑
摘要: ● 系统环境说明 Linux环境:centos7.4 CDH:5.16.1 Java:1.8.0_131 LDAP版本:2.4.44 ● 集群配置 机器数量:50 内存:64G 硬盘:4T CPU核心数:32 Ldap的具体概念可以参照我的另一篇文章 https://www.cnblogs.com/ 阅读全文
posted @ 2020-06-03 15:52 仓皇 阅读(1511) 评论(0) 推荐(0) 编辑
摘要: 什么是LDAP 目录服务 ● 在介绍什么是LDAP之前,我们先来复习一个东西:什么是目录服务? 目录服务是一个特殊的数据库,用来保存描述性的、基于属性的详细信息,支持过滤功能。 是动态的,灵活的,易扩展的。 如:人员组织管理,电话簿,地址簿。 LDAP官方说明 LDAP(Light Director 阅读全文
posted @ 2020-06-03 15:18 仓皇 阅读(849) 评论(0) 推荐(0) 编辑
摘要: 作为一个架构师,如果在面试的时候,面试官说出了一个英文缩写,这个时候如果你没有听过,是不是很尴尬?而且你也没办法针对这个问题进行描述回答。下面的20个缩写,你都能讲清楚吗? IOC 控制反转(Inversion of Control,缩写为IoC),是面向对象编程中的一种设计原则,可以用来减低计算机 阅读全文
posted @ 2020-06-01 11:03 仓皇 阅读(750) 评论(0) 推荐(0) 编辑
摘要: Linux环境:centos7.4 CDH:5.16.1 Java:1.8.0_131 Alluxio:2.3.0 集群配置 机器数量:50 内存:64G 硬盘:4T CPU核心数:32 编译 此处不再赘述,详见我另一篇文章 https://www.cnblogs.com/daemonyue/p/1 阅读全文
posted @ 2020-05-28 10:50 仓皇 阅读(1504) 评论(0) 推荐(0) 编辑
摘要: 官方说明 Alluxio是世界上第一个虚拟的分布式存储系统,以内存速度统一了数据访问。它为计算框架和存储系统构建了桥梁,使应用程序能够通过一个公共接口连接到许多存储系统。Alluxio以内存为中心的架构使得数据的访问速度能比现有方案快几个数量级。 优势 ● 通过简化应用程序访问其数据的方式(无论数据 阅读全文
posted @ 2020-05-27 18:27 仓皇 阅读(560) 评论(0) 推荐(0) 编辑
摘要: Hive的迁移涉及两个技术点: 仅迁移元数据(参考网易云提出的思路,https://sq.163yun.com/blog/article/173577620075286528); 元数据及Hive数据全量迁移。 考虑到多数场景是迁移整个Hive数据库,该篇文章只介绍迁移的第二种,即元数据及Hive数 阅读全文
posted @ 2020-05-26 15:44 仓皇 阅读(5078) 评论(0) 推荐(1) 编辑
摘要: 问题 在普通用户下,突然bash失灵,无论执行什么命令,都报如下问题: -bash: fork: retry: No child processes 一般linux 服务器默认的句柄数都是 1024,查看方法如下: [root@nlp03 ~]# ulimit -n 1024 上面这段错误提示的本质 阅读全文
posted @ 2020-05-21 10:44 仓皇 阅读(5506) 评论(0) 推荐(0) 编辑