随笔分类 - 04.hadoop
摘要：查看各节点磁盘使用情况 hdfs dfsadmin -report | grep -E "Name:|DFS Used%:" 集群平衡 mv balance.sh /home/hdfs/ su hdfs vim balance.sh chmod +x balance.sh ls hdfs dfsad
阅读全文
摘要：resources下 log4j.properties 文件 log4j.rootCategory=ERROR, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target
阅读全文
摘要：[centos@s101 /proc/92232/fd]$jps 82100 JobHistoryServer 92983 NameNode 93783 Master 92232 DFSZKFailoverController 114094 Jps [centos@s101 /proc/92232/
阅读全文
摘要：1.规划 三台服务器 s101 //master(进程) s102 ~ s104 //worker(进程) 2.在每个主机上分别安装spark tar -zxvf /home/centos/download/spark-2.1.1-bin-hadoop2.7.tgz -C /soft/ ln -s
阅读全文
摘要：1.块 2.namenode 名称节点 datanode数据节点 第二名称节点解决Editlog不断增大的问题，并实现冷备份 1.名称节点出错 第二名称节点备份 数据节点出错 名称节点把一台机器上的冗余备份数据复制一份，而且发生负载不均衡时还可以实现数据迁移 数据出错 校验码
阅读全文
摘要：恢复内容开始 Hadoop 两大核心：集群 分布式存储 分布式处理 Spark基于内存计算 MapReduce基于磁盘的计算 hive数据仓库--sql语句 pig流数据处理 sql语句（轻量级的） Oozie作业流调度系统 Hadoop安装 恢复内容结束
阅读全文
