06 2022 档案
摘要：一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核
阅读全文
摘要：Yarn系统原理 Yarn主要就是将JobTracker的两个主要功能分离成单独的组件：资源管理、任务调度/监控 RM，ResourceManager，全局管理 NM，NodeManager，节点管理 AM，ApplicationMaster，单个应用管理 Container，单个任务的资源管理 R
阅读全文
摘要：Hive系统介绍 Hive是基于Hadoop的数据仓库 Hive方便使用SQL来执行读取、写入、管理基于分布式存储的大型数据集 可以基于存储数据来构建数据结构，提供命令行和JDBC两种开发方式 Hive的设计思想 Hive不是数据库，是数据仓库，它的设计是围绕数据分析，而不是数据存储，或者说Hive
阅读全文
摘要：HDFS主要有NameNode和多个datanode节点组成。 架构模型： HDFS的设计思想 数据存储：元数据（metadata）+应用数据(applicationdata) 服务节点：名字节点(NameNode)+数据节点(DataNode) 服务架构：主从结构(Master/Slave)， N
阅读全文
摘要：命令介绍 sar（System ActivityReporter系统活动情况报告）是Linux上最为全面的系统性能分析工具之一，可以从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC有关的活动等。 sar是一个外部命令，需要
阅读全文
摘要：3.1概述 Intel RSTe（Rapid Storage Technology enterprise）板载软 RAID，整合了 AHCI 和 RAID 程序，主要用于 Intel 芯片组的磁盘管理、磁盘状态查看等应用。RSTe 内嵌于主板南桥上，对使用 SATA 磁盘的系统提供 RAID 功能支
阅读全文
