12 2021 档案
摘要：在flink中，定义好窗口分配器之后，无限流上的数据已经被我们划分到了一个个窗口里，接下来，我们需要对每个窗口中的数据进行处理。这可以通过指定Window Function来实现，一旦系统确定了某个窗口已经准备好进行处理，该函数将会处理窗口中的每个元素。
Window Function通常有这几种：ReduceFunction，AggregateFunction，FoldFunction以及ProcessWindowFunction、WindowFunction(旧版)。
窗口函数分为两类，一种是增量聚合，如reduce和aggregate，一种是全量聚合，如process、apply
阅读全文
摘要：在Flink中，window是一种可以把无限数据流切割为有限数据块的手段。
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。
而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。
阅读全文
摘要：一个类只能够产生一个实例对象，并且这个实例对象要可以对外提供访问。这样的类叫做单例类， 而设计单例的流程和思想叫做单例设计模式。单例模式属于设计模式三大类中的创建型模式。
这里将介绍8中单例设计模式的实现方式：饿汉式、懒汉式、线程安全的“懒汉模式”—— synchronized、DCL双重检测锁的懒汉式、DCL双重检测锁机制+volatile禁止指令重排、静态代码块方式、静态内部类方式、枚举类方式。
这里推荐枚举类方式，它是最简单也是线程最安全的方式。也是《effective java》作者推荐的方式。
阅读全文
摘要：LeetCode398-随机数索引：给定一个可能含有重复元素的整数数组，要求随机输出给定的数字的索引。 您可以假设给定的数字一定存在于数组中。
阅读全文
摘要：LeetCode382-链表随机节点 给定一个单链表，随机选择链表的一个节点，并返回相应的节点值。保证每个节点被选的概率一样。
阅读全文
摘要：水塘抽样是一种随机抽样算法，它能够在一个很大的集合中，抽取一部分样本，并保证每个样本的选取概率都是相等并随机的。
阅读全文
摘要：一、安装kafka（单机版） 2、修改server.properties文件 3、配置jdk环境 jdk下载地址：https://www.oracle.com/java/technologies/downloads/ 4、启动zookeeper 5、启动kafka 6、加入开机自启动 创建kafka
阅读全文
摘要：参考：https://blog.csdn.net/Phplayers/article/details/100901352php5.6安装参考：https://www.cnblogs.com/EasonJim/p/9614577.html注意：记得去掉--enablerepo=remi，直接使用--e
阅读全文
摘要：以虚拟机为例1、在虚拟机上添加新磁盘，点击虚拟机→设置->添加，最后如下图。2、进入系统fdisk -l，查看当前磁盘信息[root@master shell]# fdisk -l Disk /dev/sda: 10.7 GB, 10737418240 bytes, 20971520 sectors
阅读全文
摘要：有些场景，我们需要在服务器上插入U盘，但是现在的U盘或者移动硬盘，大多都是exFat格式的，有时候linux系统识别不了，可以按照以下方式挂载。 1、安装nux repo（可以不装） 2、安装fuse包 3、插u盘，fdisk -l 看看u盘是否读取成功 4、挂载 挂载成功，可以开始使用了。
阅读全文
摘要：一、下载安装：1、下载：官网下载地址：https://www.postgresql.org/download/linux/redhat/也可以用这个：https://www.enterprisedb.com/download-postgresql-binaries从上述地址可以看到，其实官方从11开
阅读全文
摘要：Hive on Spark 官网详情：https://cwiki.apache.org//confluence/display/Hive/Hive+on+Spark:+Getting+Started参考：https://www.cnblogs.com/wh984763176/p/13503875.h
阅读全文
摘要：Hive部署规划： MySQL安装 0 or LOW 仅需需符合密码长度（由参数validate_password_length【默认为8】指定） 1 or MEDIUM 满足LOW策略，同时需满足至少有1个数字，小写字母，大写字母和特殊字符 2 or STRONG 满足MEDIUM策略，同时密码不
阅读全文
