随笔分类 -  Hadoop学习

摘要:1、Hadoop入门 1.1 Hadoop优势 高可靠性 Hadoop底层维护多个数据副本,即使Hadoop某个计算元素或存储出现故障,也不会导致数据丢失 高扩展性 在集群间分配任务数据,可方便的扩展数以千计的节点 高效性 在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度 阅读全文
posted @ 2021-09-25 12:32 Norni 阅读(322) 评论(0) 推荐(0) 编辑
摘要:1 HDFS的定义 HDFS(Hadoop Distributed File System),是一个分布式的目录树文件系统,适合用一次写入多次读出的场景。 2 HDFS的优缺点 2.1 优点 高容错性 数据自动保存多个副本,即通过增加副本的形式,提高容错性。 适合处理大数据 数据规模:可达PB级别的 阅读全文
posted @ 2021-06-17 21:14 Norni 阅读(110) 评论(0) 推荐(0) 编辑
摘要:1 集群部署规划 集群部署规划 pcnode01 pcnode02 pcnode03 HDFS NameNodeDataNode DataNode SecondaryNameNodeDataNode YARN NodeManager ResoureManagerNodeManager NodeMan 阅读全文
posted @ 2021-06-15 00:16 Norni 阅读(194) 评论(0) 推荐(0) 编辑
摘要:指定加密算法生成ras文件 ssh-keygen -t rsa 将id_rsa.pub分发给目标服务器 ssh-copy-id root@node01 说明 ~/.ssh/authorized_keys文件放置公匙文件 另一种追加公匙的方式:cat ~/.ssh/id_rsa.pub | ssh - 阅读全文
posted @ 2021-03-27 15:31 Norni 阅读(53) 评论(0) 推荐(0) 编辑
摘要:1 脚本 #! /bin/bash #判断参数个数 if [ $# -lt 1] then echo "The args is not enough!" exit; fi #遍历集群所有机器 for host in node01 node02 node03 node04 do #遍历所有文件 for 阅读全文
posted @ 2021-03-27 14:55 Norni 阅读(90) 评论(0) 推荐(0) 编辑
摘要:清空linux中的java,完成完全卸载 rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps rpm -qa:查询所安装的所有 rpm 软件包 grep -i:忽略大小写 xargs -n1:表示每次只传递一个参数 rpm -e –nodeps:强制 阅读全文
posted @ 2021-03-25 21:39 Norni 阅读(117) 评论(0) 推荐(0) 编辑
摘要:1 Centos在虚拟机中安装步骤 修改镜像源 https://mirrors.huaweicloud.com/ 2 网络配置 配置模板机 安装网络工具 yum install net-tools 网络配置目录 cd /etc/sysconfig/network-scripts/ 编辑网卡配置文件i 阅读全文
posted @ 2021-03-24 23:58 Norni 阅读(165) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示