摘要：
1. 搭建好hive环境，并将hive-site.xml文件放到本地工程的resources目录下 2. java测试代码 public class SparkHiveTest{ public static void main(String[] args){ JavaSparkContext jav 阅读全文
摘要：
1.问题复现 数据库新建一个test表，里面包含id，和name字段 然后分别开两个窗口，分别开启事务，然后update name字段，不提交， 然后查看一下三个表，看是否出现锁表情况 innodb_trx ## 当前运行的所有事务innodb_locks ## 当前出现的锁innodb_lock_ 阅读全文
摘要：
什么是FLink watermark? Flink watermark是一种用于时间和事件处理的机制，它为事件流中的每个事件都分配了一个时间戳，以便将其与其他事件进行排序和分组。Watermark还为每个事件流提供了一个智能定界框架，使Flink能够有效地控制事件流的处理方式。Watermark可以 阅读全文
摘要：
什么是 Stream？ Stream（流）是一个来自数据源的元素队列并支持聚合操作 <strong元素队列< strong="">元素是特定类型的对象，形成一个队列。 Java中的Stream并不会存储元素，而是按需计算。 数据源 流的来源。 可以是集合，数组，I/O channel， 产生器gen 阅读全文
摘要：
前些天参加了阿里巴巴信息平台事业部的面试，将自己以及和别人交流的到的面试题做一个总结，方便以后查阅： 1. hash碰撞冲突是什么？如何解决碰撞问题！ 原因： 在我们对对象进行hash运算时，会调用hashcode()方法，他会返回一个hash值，当两个对象 计算值一样时，这就发生了碰撞冲突。 解决 阅读全文
摘要：
定位性能瓶颈 可以从以下几个方面衡量系统的性能： 应用层面 系统层面 a.系统层面指标有CPU、内存、磁盘、网络等 有一个强大的工具，可以实时监控cpu、磁盘、网络、io、内存等使用情况。 dstat -lcdngym yum install -y dstat 或者top -c 命令 b. 磁盘 d 阅读全文
摘要：
其他1. 什么是幂等？什么情况下需要考虑幂等？你怎么解决幂等的问题？编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。 Java1. 多个线程同时读写，读线程的数量远远大于写线程，你认为应该如何解决并发的问题？你会选择加什么样的锁？ 引入读写锁 ReadWriteLock 阅读全文
摘要：
HashMap,LinkedHashMap,TreeMap的区别（转） Map主要用于存储健值对，根据键得到值，因此不允许键重复（重复了覆盖了），但允许值重复。 HashMap HashMap 是一个最常用的Map，它根据键的HashCode 值存储数据，根据键可以直接获取它的值，具有很快的访问速度 阅读全文
摘要：
本文主要是将synchronized关键字用法作为例子来去解释Java中的对象锁和类锁。特别的是希望能帮大家理清一些概念。 一、synchronized关键字 synchronized关键字有如下两种用法： 1、 在需要同步的方法的方法签名中加入synchronized关键字。 1 2 3 4 5 阅读全文
摘要：
1 kafka的优点和缺点！ 2. 多线程写的过程能否被读 可以被读，但是不确定读到的是写之前的，还是写之后的。最好用读写锁，多读单写。 3. hadoop 的hdfs能否被并发写？ 不能 4. synchronize的实现机制！ 这就涉及到synchronized关键字的原理了 先看synchro 阅读全文