返回顶部

随笔分类 -  Hadoop

hadoop中HDFS的NameNode原理
摘要：1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件，提交给HDFS的 （用以存放文件目录树，权限设置，副本数设置等 阅读全文
posted @ 2019-08-13 16:49 老梁讲Java 阅读(5037) 评论(0) 推荐(0) 编辑
大数据基础Hadoop 2.x入门
摘要：hadoop概述 1. 存储和分析网络数据 2. 三大组件 MapReduce 对海量数据的处理 思想： 分而治之 每个数据集进行逻辑业务处理map 合并统计数据结果reduce HDFS 储存海量数据 分布式存储 安全性高 副本数据 YARN 分布式资源管理框架 管理整个集群的资源（内存、CPU核 阅读全文
posted @ 2018-12-02 17:57 老梁讲Java 阅读(520) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示