摘要: 一、HDFS文件命令 以下是比较重要的一些命令: 二、HDFS管理命令 三、HDFS文件管理工具 四、HDFS任务调度命令 阅读全文
posted @ 2018-04-25 16:55 老王和小杨 阅读(685) 评论(0) 推荐(0) 编辑
摘要: 一、HDFS体系结构 1 HDFS假设条件 数据流访问 大数据集 简单相关模型 移动计算比移动数据便宜 多种软硬件平台中的可移植性 2 HDFS的设计目标 非常巨大的分布式文件系统 运行于普通硬件上 优化批处理 用户控件可以位于异构的操作系统中 在整个集群中使用单一的命名空间 数据一致性 文件被分为 阅读全文
posted @ 2018-04-25 16:21 老王和小杨 阅读(928) 评论(1) 推荐(1) 编辑
摘要: hadoop完整安装目录结构: 比较重要的包有以下4个: src hadoop源码包。最核心的代码所在目录为core、hdfs和mapred,他们分别实现了hadoop最重要的3个模块:基础公共库、HDFS实现和MapReduce实现 conf 配置文件所在目录。hadoop的配置文件较多,其设计原 阅读全文
posted @ 2018-04-25 13:36 老王和小杨 阅读(714) 评论(0) 推荐(0) 编辑