2018年10月8日
单机伪分布集群搭建
摘要： 单机伪分布：用一个节点模拟集群好处：方便测试，开发，占用资源小搭建方法：第一步：修改slaves文件，将master（主机名）写入文件中。第二步：修改hdfs-site.xml文件，将文件的副本数改成1（副本数小于等于节点数）。 replication ... 阅读全文
posted @ 2018-10-08 21:28 IT晓白 阅读(232) 评论(0) 推荐(0) 编辑
Hadoopkms加密
摘要： 一、目的：保证数据安全 二、简介： Hadoop Key Management Server（KMS）是一个基于HadoopKeyProvider API编写的密钥管理服务器。他提供了一个client和一个server组件，client和server之间基于... 阅读全文
posted @ 2018-10-08 21:17 IT晓白 阅读(1660) 评论(0) 推荐(1) 编辑
动态的添加和删除hadoop集群中的节点
摘要： 一：添加节点步骤：1.新节点中添加账户，设置无密码登陆2.Name节点中设置到新节点的无密码登陆3.在Name节点slaves文件中添加新节点4.在所有节点/etc/hosts文件中增加新节点名5.cd /usr/local/hadoop hadoop-deamon... 阅读全文
posted @ 2018-10-08 20:54 IT晓白 阅读(461) 评论(0) 推荐(0) 编辑
Hadoop机架感知
摘要： 目的：增加性能原因：同机架io快。可以两个块部署统一机架的不同机器。前提是集群搭建开启成功1.查看机架感知：hdfs dfsadmin -printTopology2. 增加机架感知(一下都是在master（NameNode）上操作)a.修改core-site.x... 阅读全文
posted @ 2018-10-08 13:17 IT晓白 阅读(244) 评论(0) 推荐(0) 编辑