随笔分类 -  环境搭建

服务器配置及集群搭建
hadoop集群搭建--mapreduce on yarn--yarn-HA模式
摘要：不需要停掉HDFS的进程，可以直接修改配置文件，启动YARN 1. cp mapred-site.xml.template mapred-site.xml vi mapred-site.xml <!--指定mapreduce程序运行在yarn平台上--> <property> <name>mapre 阅读全文
posted @ 2021-03-07 16:45 Rabbit624 阅读(91) 评论(0) 推荐(0)
Hadoop集群搭建-HDFS权限管理
摘要：创建用户： 操作系统root用户： #创建dw用户 useradd dw passwd dw #创建xyk用户 useradd xyk passwd xyk #将xyk用户添加到dw组 usermod -a -G xyk dw 创建目录： HDFS管理员用户： #给dw用户创建一个家目录 hdfs 阅读全文
posted @ 2021-02-27 19:35 Rabbit624 阅读(394) 评论(0) 推荐(0)
Hadoop集群搭建-HDFS-HA模式
摘要：hadoop版本为2.X 只支持一个standyby的namenode 流程： <1> 搭建zookeeper集群 zookeeper 集群搭建 node02: cd zookeeper的conf目录 cp zoo_sample.cfg zoo.cfg vi zoo.cfg datadir=/var 阅读全文
posted @ 2021-02-27 19:00 Rabbit624 阅读(97) 评论(0) 推荐(0)
Hadoop集群搭建--Linux服务器配置
摘要：1. 配置IP及主机名映射 设置IP vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0TYPE=EthernetUUID=722edcfd-8fa3-4090-a68a-51e498049e53ONBOOT=yesNM_CONTROLL 阅读全文
posted @ 2021-02-26 22:40 Rabbit624 阅读(150) 评论(0) 推荐(0)