Yarn介绍
摘要：
YARN（Yet Another Resource Negotiator）是Hadoop的一个关键组件，主要用于大数据处理中的资源管理和作业调度。它是在Hadoop 2.0中引入的，用以改进Hadoop的原始资源管理和作业调度能力，支持Hadoop集群的更高效和更灵活的利用。以下是YARN在大数据环 阅读全文
posted @ 2024-04-26 23:34 滚动的蛋 阅读(103) 评论(0) 推荐(0) 编辑
MapReduce介绍
摘要：
MapReduce 是一种编程模型，用于大规模数据集（多达数十亿个数据项）的并行处理。它由Google开发，用于简化大量数据的处理，特别是分布式系统中的数据。MapReduce 模型的核心思想是将大型计算分解成多个小块，这些小块可以并行执行。它主要包括两个步骤：Map 和 Reduce。 MapRe 阅读全文
posted @ 2024-04-26 23:27 滚动的蛋 阅读(43) 评论(0) 推荐(0) 编辑