06 2020 档案
摘要：一、scala的数据类型 1，概述: 1）scala与java有着相同的数据类型，在scala中数据类型都是对象，也就是说是scala中没有java的原生类型 2）scala数据类型分为两大类AnyVal(值类型)和AnyRef(引用类型)，注意：不管是AnyVal还是AnyRef都是对象。 3）相
阅读全文
摘要：一、HBase的优化 1，高可用 在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期，均衡 RegionServer 的负载，如果 HMaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 HM
阅读全文
摘要：一、HBase简介 1，定义: HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 2，HBase的架构图: 架构角色: 1）Master Master是所有Region Server的管理者，其实现为HRegionServer,主要作用有: a>对于表的DDL操作：crea
阅读全文
摘要：一、Hive的压缩和存储 1，MapReduce支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 对应的编码/解码器 DEFLATE 无 DEFLATE .deflate 否 org.apache.hadoop.io.compress.DefaultCodec Gzip gzip DEF
阅读全文
摘要：一、Hive的简介: Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 优点： 1) 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 2) 避免了去写MapReduce，减少开发人员的学习成本。 3) Hive的执行延迟比较
阅读全文
摘要：一、kafka的基础架构 1）Producer ：消息生产者，就是向kafka broker发消息的客户端； 2）Consumer ：消息消费者，向kafka broker取消息的客户端； 3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费
阅读全文
