Hadoop高可用集群
摘要：1、由于之前已经搭建好完全分布式集群，所以直接改配置文件（如果用的新机器，需要配置免密） # vim core-site.xml <configuration> <!-- 指定 HDFS 中 NameNode（master）节点 的地址 --> <property> <name>fs.default
阅读全文
posted @ 2020-03-07 11:11
文章分类 - 大数据hadoop
Hadoop快照功能
摘要：新特性 Hadoop 2.x增加了快照功能的新特性。 snapshot原理 Hdfs的快照（snapshot）是在某一时间点对指定文件系统拷贝，快照采用只读模式，可以对重要数据进行恢复、防止用户错误性的操作。 快照分两种： （1）建立文件系统的索引，每次更新文件不会真正的改变文件，而是新开辟一个空间
阅读全文
posted @ 2020-03-06 14:50
HDFS编辑日志和镜像文件
摘要：HDFS非常重要的几个文件 namenode被格式化之后，将在hadoop.tmp.dir目录中产生如下文件： edits_0000000000000000001-0000000000000000001 fsimage_0000000000000000258 fsimage_000000000000
阅读全文
posted @ 2020-03-05 23:27
HDFS集群搭建及命令使用（Hadoop2.0）
摘要：HDFS介绍 HDFS（Hadoop Distributed File System）来源于2003Google 发表的论文——分布式文件系统GFS（Google File System），HDFS是GFS的开源实现，是一个块级别的分布式文件系统。 为了解决海量数据存储扩容问题，有两种方案：纵向扩展
阅读全文
posted @ 2020-03-05 14:33
