随笔分类 - bigdata
摘要：yarn 任务调度器组成 ResourceManager（RM）： 整个集群资源（内存、cpu等）的调度者 1、接收客户端的请求（该请求是运行程序的请求） 2、启动和监控MRAppMaster 3、资源调度，调度整个计算程序的资源，决定任务在哪个节点执行 NodeManager（NM）： 负责提供真
阅读全文
摘要：hadoop介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hado
阅读全文
摘要：大数据概念 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和 处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化 能力的海量、高增长率和多样化的信息资产。 大数据作用 大数据主要解决，海量数据的采集、存储和分析计算问题。 数据单位 按顺序给出数
阅读全文
摘要：hdfs概念 HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。HDFS的设计思想：构建一个非常庞大的分布式文件系统。在集群中节点失效是正常的，节点的数量在Hadoop中不是固定的.单一的文件命名空间，保证数据
阅读全文
