摘要：
String String 的底层是用 char[] 数组来存值的，数组长度不可改变这一特性导致了String 对象一旦创建，其值是不能修改的，如果要修改，会重新开辟内存空间来存储修改之后的对象，即修改了 String 的引用。 如果在实际开发过程中需要对某个字符串进行频繁的修改，使用 Strin 阅读全文
摘要：
一、Hive 1、简介 Hive是一个数据仓库软件。 Hive主要使用HQL（类sql）来分析已经存储在分布式设备(HDFS)上的数据！ Hive的本质是将用户编写的HQL，转换为MR程序，对数据进行分析！ Hive分析的数据必须是结构化的数据，在分析之前，用户需要对数据创建表结构！ Hive的表结 阅读全文
摘要：
一、Hadoop的HA 1、HA H(high)A(avilable)： 高可用，意味着必须有容错机制，不能因为集群故障导致不可用！ HDFS： 满足高可用 NN： 一个集群只有一个，负责接受客户端请求！ DN： 一个集群可以启动N个 YARN： 满足高可用 RM： 一个集群只有一个，负责接受客户端 阅读全文
摘要：
一、Zookeeper的简介 1、简介 Zookeeper是java编写的一个开源的分布式的存储中间件！ Zookeeper可以用来存储分布式系统中各个进程都关心的核心数据！ Zookeeper采取观察者模式设计，可以运行客户端在读取数据时，设置一个观察者一旦观察的节点触发了指定的事件，服务端会通知 阅读全文
摘要：
一、MR的核心编程思想 1、概念 ① Job(作业) : 一个MR程序称为一个Job ② MRAppMaster（MR任务的主节点）: 一个Job在运行时，会先启动一个进程，这个进程为 MRAppMaster。 负责Job中执行状态的监控，容错，和RM申请资源，提交Task等！ ③ Task(任务) 阅读全文
摘要：
一、HDFS知识点 HDFS的本质是一个文件系统，特点是分布式，需要在多台机器启动多个NN,DN进程组成一个分布式系统 1、HDFS不支持对文件的随机写 HDFS不支持对一个文件的并发写入，也不支持对文件的随机修改，可以追加，但是不能修改。 原因： 文件在HDFS上存储时，以block为基本单位存储 阅读全文
摘要：
Number(p, s) 声明一个定点数 p(precision)为精度，s(scale)表示小数点右边的数字个数，精度最大值为38，scale的取值范围为-84到127 Number(p) 声明一个整数 相当于Number(p, 0) Number 声明一个浮点数 其精度为38，要注意的是scal 阅读全文
摘要：
一、完全分布式集群搭建 1、规划 HDFS: 1个NN+N个DN YARN: 1个RM+N个NM 避免单点故障，NN和RM建议分散到多台机器。注意负载均衡。 hadoop101 hadoop102 hadoop103 DN DN DN NM NM NM NN RM 2NN 2、准备集群，安装软件 （ 阅读全文
摘要：
一、hadoop简介 1、优势 高可靠性：底层维护多个数据副本，所以即使hadoop某个计算元素或存储出现故障也不会导致数据丢失。 高扩展性：在集群间分配任务数据，可方便扩展很多节点 高效性：在MapRedurce的思想下，Hadoop是并行工作的，以加快任务的处理。 高容错性：能够自动将失败的任务 阅读全文
摘要：
二、 静态分区 1，创建静态分区格式: create table employees ( name string, salary float, subordinated array<string>, deductions map<string,float>, address struct<stree 阅读全文