摘要: Collections.sort Collections类是Collection类及其子类的工具类,其中的sort方法专门用于对集合中的元素进行排序,该方法主要有两种重载的方法,可以指定显式的比较器,也可以不指定,但是待比较集合中的元素必须是继承了Comparable接口: public stati 阅读全文
posted @ 2021-08-01 10:30 有心有梦 阅读(209) 评论(0) 推荐(0) 编辑
摘要: 布隆过滤器是一位名叫Bloom的人提出的一种用于检索元素是否存在给定的大集合中的数据结构,这种数据结构由二进制向量(或者说位数组)和一系列随机映射函数(哈希函数)两部分组成。它只需占用极小的空间,便可以给出“可能存在”和“肯定不存在”的存在性判断。 实现原理 布隆过滤器由一个长度为N的0-1数组ar 阅读全文
posted @ 2021-06-25 15:41 有心有梦 阅读(121) 评论(0) 推荐(0) 编辑
摘要: HBase的体系结构借鉴了BigTable论文,是典型的Master-Slave模型。 1.HBase客户端 HBase客户端提供了Shell命令行接口、原生Java API编程接口、Thrift/REST API编程接口以及MapReduce编程接口。HBase客户端支持所有常见的DML操作以及D 阅读全文
posted @ 2021-06-24 22:58 有心有梦 阅读(275) 评论(0) 推荐(0) 编辑
摘要: import java.util.Arrays; /** * 插入排序的思想: * 插入排序是将新的元素插入到一个排好序的子线性表中,直到整个线性表排好序 * 具体操作是:循环遍历整个待排序的表,将当前访问的元素赋值给一个临时变量curElement, * 然后利用一个内循环从当前位置i的前一个位置 阅读全文
posted @ 2021-06-22 13:35 有心有梦 阅读(29) 评论(0) 推荐(0) 编辑
摘要: 文件存储格式 Hive支持的存储数据的格式主要有:文本格式(TEXTFILE )、二进制序列化文件(SEQUENCEFILE)、行列式文件(RCFile)、优化的行列式文件(ORC)、PARQUET。其中优化的行列式文件(ORC)、PARQUET以其高效的数据存储和数据处理性能得以在实际的生产环境中 阅读全文
posted @ 2021-06-20 22:18 有心有梦 阅读(859) 评论(0) 推荐(0) 编辑
摘要: HDFS的读取过程 HDFS的读取流程大致有以下几个步骤: (1)客户端通过调用FileSystem对象的open()来打开希望读取的文件。对于HDFS平台来说,这个对象是DistributedFileSystem类的是一个实例,所以实际调用的是DistributedFileSystem对象的ope 阅读全文
posted @ 2021-06-18 18:21 有心有梦 阅读(2114) 评论(0) 推荐(0) 编辑
摘要: AQS 队列同步器(AbstractQueuedSynchronizer),是用来构建锁或者其他同步组件的基础框架,它使用了一个int成员变量表示同步状态,通过内置的FIFO队列来完成资源获取线程的排队工作。 同步器的主要使用方式是继承,子类通过继承同步器并实现它的抽象方法来管理同步状态,在抽象方法 阅读全文
posted @ 2021-06-15 22:54 有心有梦 阅读(135) 评论(0) 推荐(0) 编辑
摘要: Condition接口 任意一个Java对象都有一组监视器方法,这些方法定义在所有类的共同超类Obejct中,主要包括wait()、wait(long timeout)、notify()和notifyAll(),这些方法与synchronized同步关键字配合,可以实现等待/通知模式。 Condit 阅读全文
posted @ 2021-06-13 14:26 有心有梦 阅读(103) 评论(0) 推荐(0) 编辑
摘要: HashMap ​ HashMap根据键的hashCode值存储数据,大多数情况下可以直接定位到它的值,因而具有很快的访问速度,但遍历顺序却是不确定的。 HashMap最多只允许一条记录的键为null,允许多条记录的值为null。HashMap非线程安全,即任一时刻可以有多个线程同时写HashMap 阅读全文
posted @ 2021-06-10 11:26 有心有梦 阅读(54) 评论(0) 推荐(0) 编辑
摘要: 读写锁在同一时刻可以允许多个读线程访问,但是在写线程访问时,所有的读线程和其他写线程均被阻塞。读写锁维护了一对锁,一个读锁和一个写锁,通过分离读锁和写锁,使得并发性相比一般的排它锁有了很大的提升。 一般情况下,读写锁的性能都会比排它锁好,因为大多数场景读是多于写的。在读多于写的情况下,读写锁能够提供 阅读全文
posted @ 2021-06-09 13:45 有心有梦 阅读(806) 评论(0) 推荐(0) 编辑