02 2021 档案
摘要:@ 源码环境: JDK 1.8 HashMap 源码解析 LinkedList 源码解析 LinkedHashMap 是 HashMap 的子类,在 HashMap 的基础上,对于每一个出现的节点 Node e,用双向链表来连接。可以理解为 LinkedHashMap = HashMap + Lin
阅读全文
摘要:以下是我收藏的关于大数据的书籍,可以关注我的公众号,从百度网盘下载。 1.百度网盘 关注公众号:Java与大数据进阶 回复“书籍” 关于大数据相关的视频和项目资源也可从公众号获取哦。 我的公众号主要写 Java 和大数据的内容,欢迎关注。 2.目录 Flume Flume构建高可用、可扩展的海量日志
阅读全文
摘要:源码环境: JDK 1.8。 本文不介绍红黑树节点的处理过程。 在 1.8 中,HashMap 是数组+链表+红黑树。 1 常用变量及节点类 如图所示,在下面的 HashMap 中,桶数组 table 有着 64 个 Node,大小 size 是 3+1+9 = 13。这个 HashMap 中只有三
阅读全文
摘要:@ 源码环境: JDK 1.8。 关键的算法用 gif 图进行描述。 如果大家对画图或者 gif 工具有建议,欢迎在评论区评论。 1 成员变量和 Node 链表节点是 Node,Node 包含 item,前一项 prev 和后一项 next。 LinkedList 是一个双向链表,保存头尾的 Nod
阅读全文
摘要:源码环境: JDK 1.8 首先介绍读源码的方法,有些构建的方法会将源码整体编译,造成卡顿,需要加大 Build process heap size。这里不将源码拷贝到src,具体见韩顺平的源码阅读配置视频:韩顺平源码视频,或者别人做的视频截图:自制截屏PPT。在写注释的时候,不要增删行数,以免 d
阅读全文
摘要:1 个人情况介绍 首先介绍一下基本情况,本科211非科班,硕士985计算机,参加21届秋招,拿到百度和美团offer。 我从大三开始决定转计算机,先学Python,然后是Java SE,大四学了算法和数据结构以及机器学习。当时主要是看书和慕课视频,有很多不足。首先只是入门,没有深入学习,也没有做项目
阅读全文
摘要:以下面试题主要整理自尚硅谷相关文档 1. 你是如何实现 Flume 数据传输的监控的 使用第三方框架 Ganglia 实时监控 Flume。 2. Flume 的 Source,Sink,Channel 的作用?你们 Source 是什么类型? 1. 作用 (1)Source 组件是专门用来收集数据
阅读全文
摘要:以下面试题主要整理自尚硅谷相关文档 1. 集群的最主要瓶颈 磁盘IO 2. Hadoop运行模式 包括单机模式、伪分布式模式、完全分布式模式。 单机模式(standalone) 单机模式是Hadoop的默认模式。这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。当首次
阅读全文
摘要:以下面试题主要整理自尚硅谷相关文档 1. HBase数据模型(☆) 1)Name Space 命名空间,类似于关系型数据库的 DatabBase 概念,每个命名空间下有多个表。HBase 有两个自带的命名空间,分别是 hbase 和 default,hbase 中存放的是 HBase内置的表,def
阅读全文
摘要:以下面试题主要整理自尚硅谷相关文档 1. 什么是Hive Hive:由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能。 本质是:将 HQL 转化成 MapReduce 程
阅读全文
摘要:以下面试题主要整理自尚硅谷相关文档 1. Kafka介绍 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。 2. 消息队列的两种模式 (1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 消息生产者生产消息发送到Que
阅读全文
摘要:以下面试题主要整理自尚硅谷相关文档 1. Spark的三种部署模式 1. Local模式:单机调试 local:只启动一个线程 local[k]:启动k个线程 local[*]:启动cpu数目的线程 2. 分布式 (1)standalone模式: 在架构上和MapReduce1具有一致性,资源抽象为
阅读全文
摘要:以下面试题主要整理自尚硅谷相关文档 1. ZooKeeper介绍 1.ZooKeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,ZooKeeper就将负责通知已经在ZooKeeper上注册
阅读全文