2019年5月11日
hadoop学习 的yarn
摘要： Yarn的产生 mapReduc1.0 1单点故障 2扩展效率低 3资源利用率高 降低运维成本 方便数据共享 多计算框架支持 MapReduce Spark Storm Yarn的架构图 Yarn模块介绍 ResourceManger 负责集群资源的统一管理和调度 处理客户端请求 启动/监控Appl 阅读全文
posted @ 2019-05-11 09:17 左手编程右手诗 阅读(254) 评论(0) 推荐(0) 编辑
Hadoop HDFS 常用命名
摘要： HDFS命令基本格式：hadoop fs -cmd < args > ls 命令hadoop fs -ls /列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件 put 命令hadoop fs -put < local file > < 阅读全文
posted @ 2019-05-11 08:45 左手编程右手诗 阅读(1137) 评论(1) 推荐(0) 编辑
Hadoop 学习 HDFS
摘要： 1、HDFS的设计 HDFS是什么：HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在：要求低时间延迟数据访问的应用，存储大量的小文件 阅读全文
posted @ 2019-05-11 08:43 左手编程右手诗 阅读(364) 评论(0) 推荐(0) 编辑