摘要：一、启动HDFS集群 ### 启动集群注意事项 ~~~ # 注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode， ~~~ # 非第一次不用执行格式化Namenode操作！！ 二、单节点启动：格式化NameNode ### 单节点启动 ~~~ # 所有节点执行 [root
阅读全文
摘要：一、集群测试 ### HDFS 分布式存储初体验 ~~~ # 从linux本地文件系统上传下载文件验证HDFS集群工作正常 ~~~ HDFS访问地址：http://hadoop01:50070/ ~~~ # 本地hoome目录创建一个文件 [root@hadoop01 ~]# vim test.tx
阅读全文
摘要：一、分发配置：rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ # rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和scp区别：用rsync做文件的复制要比scp的速度快
阅读全文
摘要：一、集群规划 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 NameNode √ SecondaryNameNode √ DataNode √ √ √ √ √ ResourceManager √ DataManager √ √ √ √ √ Hive √ √ √ Hi
阅读全文
摘要：一、集群配置 ### Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置 ~~~ # HDFS集群配置 ~~~ 将JDK路径明确配置给HDFS（修改hadoop-env.sh） ~~~ 指定NameNode节点以及数据存储目录（修改core-site.x
阅读全文
摘要：一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写，需要java环境（jvm） ~~~ JDK版本：JDK8版本 ### 集群： ~~~ 知识点学习：统一使用vmware虚拟机虚拟五台linux节点，linux操作系统：Ce
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要：一、配置环境规划 ### vmware、linux版本 ~~~ vmware版本：VMware-workstation-full-15.5.5-16285975.exe ~~~ Linux版本：CentOS-7-x86_64-DVD-1810.iso ### Linux主机配置参数 ~~~ CPU：
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要：一、PB级别企业电商离线仓库：部署规划 IP地址 主机名 第一台机器 192.168.1.121 Hadoop01 第二台机器 192.168.1.122 Hadoop02 第三台机器 192.168.1.123 Hadoop03 第四台机器 192.168.1.124 Hadoop04 第五台机器
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
