摘要：
其中有一些值的概念不太清楚，参考了： https://blog.csdn.net/lsgqjh/article/details/63685058（这一位大佬，讲的很细！！） https://blog.csdn.net/mulinsen77/article/details/84583716 Lock接 阅读全文
摘要：
参考 https://blog.csdn.net/varyall/article/details/79698145 《深入理解Java虚拟机》 锁状态：无锁、偏向锁、轻量级锁、重量级锁（具体是何种状态，取决于竞争情况） 这三个只是代表锁的状态。而非动作。 首先了解为什么锁的是对象 HotSpot虚拟 阅读全文
摘要：
Hive调优 先记录了这么多，日后如果有遇到，再补充。 fetch模式 抓取模式： more：默认的模式：表示全局查找，字段查找，limit查找都不启用MR； minimal：分区中的filter，limit都不启用； none：所有程序都走MR； more：默认的模式：表示全局查找，字段查找，li 阅读全文
摘要：
牛客SQL题目 题目链接：https://www.nowcoder.com/ta/sql 查找最晚入职员工的所有信息 查找入职员工时间排名倒数第3的员工所有信息 查找各个部门当前(to_date='9999-01-01')的领导的当前薪水详情以及其对应部门编号dept_no 查找所有已经分配部门的员 阅读全文
摘要：
JavaIO体现出装饰者的设计模式 今天在学SparkRDD之前，听了一堂复习JavaIO的课，觉得讲得不错 Java的IO一直让我觉得一层一层的很麻烦，刚接触的时候，理不太清楚 只知道要分解为输入输出流和处理流；字节字符流； 下面通过这个例子，分解装饰者模式，是怎么一步步装饰的 FileInput 阅读全文
摘要：
本篇目录： 1. Hive数据结构 2. DDL操作 3. DML操作 4. UDF函数 Hive数据结构 除了基本数据类型（与java类似），hive支持三种集合类型 Hive集合类型数据 array、map、structs hive (default)> create table test( > 阅读全文
摘要：
Hive 基于Hadoop的数据仓库工具； 将结构化的数据文件，映射为一张表，并提供类SQL查询功能； 本质：将HQL转化为MapReduce程序； Hive处理的数据存储在HDFS； Hive分析数据底层的默认实现是MapReduce； 执行程序是在Yarn上； Hive处理的数据存储在HDFS； 阅读全文
摘要：
HDFS 基于流数据模式访问和处理超大文件的需求而开发的。 低延时的数据访问 HDFS是为高吞吐数据传输设计的,因此可能牺牲延时HBase更适合低延时的数据访问。 大量小文件 文件的元数据保存在NameNode的内存中， 整个文件系统的文件数量会受限于NameNode的内存大小。 多方读写，需要任意 阅读全文
摘要：
hadoop完全分布式搭建 建议（遇到的坑）： 如果自己用的操作系统就是linux，我本身是deepin系统，装了两台虚拟机，结果，用户名没有配置，导致启动不了，因为hadoop的master节点启动的时候，默认slave的用户名为master机器的用户名。所以，要保证三台机器，用户名是一致的！！ 阅读全文