随笔分类 -  hadoop

摘要:hdfs3.0 常用命令 hdfs命令大全: # hdfs dfs 1 创建目录(-mkdir): hadoop fs -mkdir -p /putfile/test 2 显示目录信息(-ls): hadoop fs -ls /putfile hadoop fs -ls -h /putfile ha 阅读全文
posted @ 2022-11-09 17:17 Sky-wings 阅读(176) 评论(0) 推荐(0) 编辑
摘要:hadoop1.0配置文件详解 1 修改hadoop-env.sh 配置 Hadoop 运行所需的环境变量 # The java implementation to use. export JAVA_HOME=${JAVA_HOME} 2 配置core-site.xml Hadoop 核心全局配置文 阅读全文
posted @ 2022-11-09 17:16 Sky-wings 阅读(43) 评论(0) 推荐(0) 编辑
摘要:hadoop配置文件详解 主要配置文件: hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml yar-site.xml workers 参考: https://hadoop.apache.org/docs/r3.0.1/ https:/ 阅读全文
posted @ 2022-11-09 17:14 Sky-wings 阅读(596) 评论(0) 推荐(0) 编辑
摘要:hadoop安装 1 安装java环境 tar -xf jdk-8u131-linux-x64.tar.gz -C /usr/local/ vi /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_131 export CLASS_PATH=$JAVA 阅读全文
posted @ 2022-11-09 17:10 Sky-wings 阅读(15) 评论(0) 推荐(0) 编辑
摘要:hadoop 3.0安装 节点角色分配: vm1 namenode1 zookeeper1 ZKFC1 jornalnode1 resourcemanager vm2 namenode2 datanode1 zookeeper2 ZKFC2 jornalnode2 resourcemanager v 阅读全文
posted @ 2022-11-09 17:06 Sky-wings 阅读(183) 评论(0) 推荐(0) 编辑
摘要:HDFS高可用 对于保证NameNode元数据的一致性和编辑日志的安全性,采用Zookeeper来存储编辑日志文件。 两个NameNode一个是Active状态的,一个是Standby状态的,一个时间点只能有一个Active状态的。 NameNode提供服务,两个NameNode上存储的元数据是实时 阅读全文
posted @ 2022-11-09 17:00 Sky-wings 阅读(43) 评论(0) 推荐(0) 编辑
摘要:HDFS hadoop官网:https://hadoop.apache.org/ hadoop历史版本:https://archive.apache.org/dist/hadoop/common/ hadoop的核心 Hadoop的核心就是HDFS和MapReduce,而两者只是理论基础,不是具体可 阅读全文
posted @ 2022-11-09 16:44 Sky-wings 阅读(113) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示