摘要:
其中有一些值的概念不太清楚,参考了: https://blog.csdn.net/lsgqjh/article/details/63685058(这一位大佬,讲的很细!!) https://blog.csdn.net/mulinsen77/article/details/84583716 Lock接 阅读全文
摘要:
参考 https://blog.csdn.net/varyall/article/details/79698145 《深入理解Java虚拟机》 锁状态:无锁、偏向锁、轻量级锁、重量级锁(具体是何种状态,取决于竞争情况) 这三个只是代表锁的状态。而非动作。 首先了解为什么锁的是对象 HotSpot虚拟 阅读全文
摘要:
Hive调优 先记录了这么多,日后如果有遇到,再补充。 fetch模式 抓取模式: more:默认的模式:表示全局查找,字段查找,limit查找都不启用MR; minimal:分区中的filter,limit都不启用; none:所有程序都走MR; more:默认的模式:表示全局查找,字段查找,li 阅读全文
摘要:
牛客SQL题目 题目链接:https://www.nowcoder.com/ta/sql 查找最晚入职员工的所有信息 查找入职员工时间排名倒数第3的员工所有信息 查找各个部门当前(to_date='9999-01-01')的领导的当前薪水详情以及其对应部门编号dept_no 查找所有已经分配部门的员 阅读全文
摘要:
JavaIO体现出装饰者的设计模式 今天在学SparkRDD之前,听了一堂复习JavaIO的课,觉得讲得不错 Java的IO一直让我觉得一层一层的很麻烦,刚接触的时候,理不太清楚 只知道要分解为输入输出流和处理流;字节字符流; 下面通过这个例子,分解装饰者模式,是怎么一步步装饰的 FileInput 阅读全文
摘要:
本篇目录: 1. Hive数据结构 2. DDL操作 3. DML操作 4. UDF函数 Hive数据结构 除了基本数据类型(与java类似),hive支持三种集合类型 Hive集合类型数据 array、map、structs hive (default)> create table test( > 阅读全文
摘要:
Hive 基于Hadoop的数据仓库工具; 将结构化的数据文件,映射为一张表,并提供类SQL查询功能; 本质:将HQL转化为MapReduce程序; Hive处理的数据存储在HDFS; Hive分析数据底层的默认实现是MapReduce; 执行程序是在Yarn上; Hive处理的数据存储在HDFS; 阅读全文
摘要:
HDFS 基于流数据模式访问和处理超大文件的需求而开发的。 低延时的数据访问 HDFS是为高吞吐数据传输设计的,因此可能牺牲延时HBase更适合低延时的数据访问。 大量小文件 文件的元数据保存在NameNode的内存中, 整个文件系统的文件数量会受限于NameNode的内存大小。 多方读写,需要任意 阅读全文
摘要:
hadoop完全分布式搭建 建议(遇到的坑): 如果自己用的操作系统就是linux,我本身是deepin系统,装了两台虚拟机,结果,用户名没有配置,导致启动不了,因为hadoop的master节点启动的时候,默认slave的用户名为master机器的用户名。所以,要保证三台机器,用户名是一致的!! 阅读全文