08 2022 档案
摘要：1.1 MapReduce是什么 Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上，并以一种可靠的，具有容错能力的方式并行地处理上TB级别的海量数据集。这个定义里面有着这些关键词， 一是软件框架，二是并行处理，三是
阅读全文
摘要：下一周学MapReduce程序在古老的 Hadoop1.0 中，MapReduce 的 JobTracker 负责了太多的工作，包括资源调度，管理众多的 TaskTracker 等工作。这自然是不合理的，于是 Hadoop 在 1.0 到 2.0 的升级过程中，便将 JobTracker 的资源调度
阅读全文
摘要：下一周学习YarnHDFS简介 HDFS（Hadoop Distribute File System, Hadoop分布式文件系统），是Hadoop核心组成，是分布式存储服务。 分布式文件存储系统横跨多台计算机，在大数据时代有着广泛的应用前景。它们为存储和处理超大规模数据提供所需的扩展能力。HDFS
阅读全文
摘要：下周接着学习hadoop一、 大数据简介 1. 大数据的定义 ⼤数据是指⽆法在⼀定时间范围内⽤常规软件⼯具进⾏捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策⼒、洞察发现⼒和流程优化能⼒的海量、⾼增⻓率和多样化的信息资产。 大量采集、存储和计算的数据量都⾮常⼤。大数据领域数据量基本上以
阅读全文
摘要：本周学了Linux Shell 脚本下周学习hadoop Shell是一种脚本语言，那么，就必须有解释器来执行这些脚本，常见的脚本解释器有： bash：是Linux标准默认的shell。bash由Brian Fox和Chet Ramey共同完成，是BourneAgain Shell的缩写，内部命令一
阅读全文
