2020年1月15日
Centos7编译Hadoop源码
摘要： jar包安装 注意：所有操作必须在root用户下完成 1 JDK解压、配置环境变量 JAVA_HOME和PATH，验证java-version(如下都需要验证是否配置成功) [root@192 opt]# mkdir /opt/module/ [root@192 opt]# tar -zxf jdk 阅读全文
posted @ 2020-01-15 23:39 天宇轩-王 阅读(411) 评论(0) 推荐(1) 编辑
HDFS的Shell操作
摘要： 1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。 2．命令大全 [root@hadoop002 hadoop-2.7.2]# hdfs dfs Usage: hadoop fs [generic options] [-appendT 阅读全文
posted @ 2020-01-15 23:12 天宇轩-王 阅读(227) 评论(0) 推荐(1) 编辑
HDFS概述
摘要： HDFS产出背景及定义 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDF 阅读全文
posted @ 2020-01-15 20:41 天宇轩-王 阅读(158) 评论(0) 推荐(1) 编辑
Hadoop完全分布式模式
摘要： 集群配置 1. 集群部署规划 表2-3 hadoop002 hadoop003 hadoop004 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeMana 阅读全文
posted @ 2020-01-15 16:10 天宇轩-王 阅读(734) 评论(0) 推荐(0) 编辑
免密登陆
摘要： 无密钥配置 （1）免密登录原理，如图所示 （2）生成公钥和私钥： [root@hadoop003 .ssh]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key 阅读全文
posted @ 2020-01-15 00:21 天宇轩-王 阅读(361) 评论(0) 推荐(1) 编辑