滴水穿石不是靠力，而是因为不舍昼夜。

摘要： Kafka作为分布式消息传输队列，是一个高吞吐、易于扩展的消息系统。而消息队列的传输方式，恰恰和流处理是完全一致的。所以可以说Kafka和Flink天生一对，是当前处理流式数据的双子星。在如今的实时流处理应用中，由Kafka进行数据的收集和传输，Flink 进行分析计算，这样的架构已经成为众多企业的 阅读全文

摘要： 什么是绝对值 绝对值是指一个数在数轴上所对应点到原点的距离，用“| |”来表示。|b-a|或|a-b|表示数轴上表示a的点和表示b的点的距离。 在数学中，绝对值或模数| x | 为非负值，而不考虑其符号，即|x | = x表示正x，| x | = -x表示负x（在这种情况下-x为正），| 0 | = 阅读全文

摘要： 回顾一下Java入坑的第一个代码片段 你好世界 /** * HelloWorld */ public class HelloWorld { //main 方法程序执行入口 public static void main(String[] args) { //输出一句话 System.out.prin 阅读全文

摘要： 问题1、在不借助其它表的情况下输出结果如下所示： 12345... 4950 解题思路：首先借助 space(49) 函数生成49个空格，然后用split去切分为49个空白数组，这样依赖，可以使用侧写函数对其进行处理陈带有序号的空白，这里的序号是我们要用到的 答案 select id + start 阅读全文

摘要： 所谓“分流”，就是将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个DataStream，得到完全平等的多个子DataStream，如下图所示。一般来说，会定义一些筛选条件，将符合条件的数据拣选出来放到对应的流里。 处理函数本身可以认为是一个转换算子，它的输出类型是单一的，处理之后得到的仍 阅读全文

摘要： 1、查看原始注释字段的编码 发现字段编码不是utf8,但是注意：不建议修改整个库的编码方式，直接修改字段注释所在列信息的编码格式即可； 2、修改注释字段编码 use metastore; alter table COLUMNS_V2 modify column COMMENT varchar (25 阅读全文

摘要： 窗口的计算处理，在实际应用中非常常见。对于一些比较复杂的需求，如果增量聚合函数无法满足，就需要考虑使用窗口处理函数这样的“大招”了。网站中一个非常经典的例子，就是实时统计一段时间内的热门url。例如，需要统计最近10秒钟内最热门的两个url链接，并且每5秒钟更新一次。这可以用一个滑动窗口来实现，而“ 阅读全文

摘要： 除了KeyedProcessFunction，另外一大类常用的处理函数，就是基于窗口的ProcessWindowFunction和ProcessAllWindowFunction了. 1、窗口处理函数的使用 进行窗口计算，可以直接调用现成的简单聚合方法（sum/max/min）,也可以通过调用.re 阅读全文

摘要： Centos7 关闭防火墙 关闭防火墙 systemctl stop firewalld 关闭开机自启 systemctl disable firewalld.service Centos6 关闭防火墙 关闭防火墙 service iptables stop 关闭开机自启 chkconfig ipt 阅读全文

摘要： 在Flink程序中，为了实现数据的聚合统计，或者开窗计算之类的功能，一般都要先用keyBy算子对数据流进行“按键分区”，得到一个KeyedStream。也就是指定一个键（key），按照它的哈希值（hash code）将数据分成不同的“组”，然后分配到不同的并行子任务上执行计算；这相当于做了一个逻辑分 阅读全文