摘要：
HDFS的快照 一个snapshot（快照）是一个全部文件系统、或者某个目录在某一时刻的镜像 快照应用在如下场景中： 防止用户的错误操作 备份 试验/测试 灾难恢复 HDFS的快照操作 开启快照 hdfs dfsadmin -allowSnapshot /input 创建快照 hdfs dfs -c 阅读全文
摘要：
Hadoop是什么？ 狭义上： HDFS：分布式文件存储系统 MapReduce：分布式计算框架 YARN：资源管理任务调度 广义上： HDFS：分布式文件存储系统 MapReduce：分布式计算框架 YARN：资源管理任务调度 特指apache一款由java开发，开源的大户数据处理平台软件 had 阅读全文
摘要：
hadoop hdfs 垃圾回收机制 何为垃圾回收 开启垃圾回收站 把删除的文件首先放置在回收站中 等待配置的时间结束 进行真正的数据删除 如何开始 vim core-site.xml<property><name>fs.trash.interval</name><value>1440</value 阅读全文
摘要：
一、 MapReduce jobHistory JobHistory用来记录已经finished（结束）的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml中配置并手动启动。 1． 修改mapred-site.xml cd /ex 阅读全文
摘要：
hadoop初体验 namnode format操作 首次启动集群需要针对hdfs 操作 操作只需要进行一次 通常在namenode所在节点进行 format中主要创建了hadoop运行时依赖的一些文件夹和文件 Storage directory /export/data/hadoopdata/df 阅读全文
摘要：
Hadoop2.x的安装与配置（文档有详细） （一）Hadoop安装部署的预备条件 安装Linux 安装JDK hadoop集群搭建 hadoop发行版本 社区版：官方版本 apache社区维护 优点：功能最新的 免费 缺点：稳定性 兼容性不好 https://archive.apache.org/ 阅读全文