2020年8月25日
Spark-shell 报错：Failed to get database default, returning NoSuchObjectException
摘要： Spark-shell 执行sql查询报错： 20/08/24 15:33:59 WARN metastore.ObjectStore: Failed to get database default, returning NoSuchObjectException 20/08/24 15:34:03 阅读全文
posted @ 2020-08-25 10:48 水木青楓 阅读(5308) 评论(0) 推荐(1) 编辑
Redis面试题
摘要： 原作者：睶先森 原文链接：https://blog.csdn.net/Butterfly_resting/article/details/89668661 面试题： 1、Redis 持久化机制 2、缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题 3、热点数据和冷数据是什么 4、Memcach 阅读全文
posted @ 2020-08-25 01:43 水木青楓 阅读(153) 评论(0) 推荐(0) 编辑
2020年8月24日
Hadoop上小文件如何存储？
摘要： Block是文件块，HDFS中是以Block为单位进行文件的管理的，一个文件可能有多个块，每个块默认是3个副本，这些块分别存储在不同机器上。块与文件之前的映射关系会定时上报Namenode。HDFS中一个块的默认大小是64M，其大小由参数dfs.block.size控制。这里面先引申几个问题出来： 阅读全文
posted @ 2020-08-24 17:57 水木青楓 阅读(443) 评论(0) 推荐(0) 编辑
2020年8月23日
HDFS读写流程
摘要： HDFS读过程 HDFS API 读文件 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStre 阅读全文
posted @ 2020-08-23 23:49 水木青楓 阅读(348) 评论(0) 推荐(0) 编辑
Datanode 怎么与 Namenode 通信？
摘要： 在分析DataNode时, 因为DataNode上保存的是数据块, 因此DataNode主要是对数据块进行操作. DataNode的主要工作流程 客户端和DataNode的通信: 客户端向DataNode的数据块读写, 采用TCP/IP流接口(DataXceiver)进行数据传输 客户端在检测到Da 阅读全文
posted @ 2020-08-23 21:33 水木青楓 阅读(934) 评论(0) 推荐(0) 编辑
悲观锁和乐观锁详解
摘要： 在数据库的锁机制中介绍过，数据库管理系统（DBMS）中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一性。 乐观并发控制(乐观锁)和悲观并发控制（悲观锁）是并发控制主要采用的技术手段。 无论是悲观锁还是乐观锁，都是人们定义出来的概念，可以认为是一种 阅读全文
posted @ 2020-08-23 21:20 水木青楓 阅读(450) 评论(0) 推荐(0) 编辑
事务的并发问题：脏读、幻读和不可重复读
摘要： 脏读：事务A提交后又发生了回滚，事务B读取了事务A提交后的数据，但是由于发生回滚，读取的数据是无效的。 幻读：事务A对全表数据进行了更改操作，事务B对表添加了一行数据，导致事务A的全表操作没有包含B新提交的一行数据。 不可重复读：事务A读了一条数据，要处理某个逻辑，此时事务B把数据该了，事务A再次读取时，发现数据有变化，导致前后两次读取到的数据不一样。 阅读全文
posted @ 2020-08-23 16:53 水木青楓 阅读(575) 评论(0) 推荐(0) 编辑
Hive 常见面试题(二)
摘要： 使用 concat_ws 实现行转列，使用 lateral view explode 实现列转行。 阅读全文
posted @ 2020-08-23 16:44 水木青楓 阅读(213) 评论(0) 推荐(0) 编辑
2020年8月22日
yield 的使用
摘要： yield 在很多高级语言都有，比如：python、scala、JavaScript、Ruby等。 我们实际工作时，很少会用到yield，但是也架不住求职面试的时候，面试官可能会问呀。 yield 在英语里面的解释是： 出产(作物); 产生(收益、效益等); 提供; 屈服; 让步; 放弃; 缴出; 阅读全文
posted @ 2020-08-22 01:55 水木青楓 阅读(238) 评论(0) 推荐(0) 编辑
Java 线程状态
摘要： 线程的5个状态： 1、创建状态 当调用 start() 方法，线程立即进入就绪状态，但不意味着立即调度执行。 2、就绪状态 3、 运行状态 进入运行状态，线程才真正执行线程体的代码块 4、阻塞状态 当调用 sleep, wait 或同步锁定时，线程进入阻塞状态，就是代码不往下执行，阻塞事件解除后，重 阅读全文
posted @ 2020-08-22 01:41 水木青楓 阅读(98) 评论(0) 推荐(0) 编辑