滴水穿石不是靠力，而是因为不舍昼夜。

摘要： 对于两条流的合并，很多情况我们并不是简单地将所有数据放在一起，而是希望根据某个字段的值将它们联结起来，“配对”去做处理。例如用传感器监控火情时，我们需要将大量温度传感器和烟雾传感器采集到的信息，按照传感器ID分组、再将两条流中数据合并起来，如果同时超过设定阈值就要报警。我们发现，这种需求与关系型数据 阅读全文

摘要： 问题描述 由于业务需要早上修改了一个固定需求加工逻辑的一个子查询，把修改后的 hivesql 封装成 shell 脚本后执行报错了，运行脚本最后一行提示如下： t1.service_type;: bad substitution 问题分析 经过查询了解到 bad substitution的字面意思， 阅读全文

摘要： CoProcessFunction 简介 对于连接流ConnectedStreams的处理操作，需要分别定义对两条流的处理转换，因此接口中就会有两个相同的方法需要实现，用数字“1”“2”区分，在两条流中的数据到来时分别调用。我们把这种接口叫作“协同处理函数”（co-process function） 阅读全文

摘要： 流的联合虽然简单，不过受限于数据类型不能改变，灵活性大打折扣，所以实际应用较少出现。除了联合（union），Flink还提供了另外一种方便的合流操作——连接（connect）。顾名思义，这种操作就是直接把两条流像接线一样对接起来 1、连接流（ConnectedStreams） 为了处理更加灵活，连接 阅读全文

摘要： 应用中，我们经常会遇到来源不同的多条流，需要将它们的数据进行联合处理。所以Flink中合流的操作会更加普遍，对应的API也更加丰富。 Union 最简单的合流操作就是直接将多条流合在一起，这种操作称作为流的 “联合”(union) ,如下图所示，进行联合操作的流的数据类型需要保持一致，合并之后的流会 阅读全文

摘要： MaterializeMySQL 简介 MySQL 的用户群体很大，为了能够增强数据的实时性，很多解决方案会利用 binlog 将数据写入到 ClickHouse。为了能够监听 binlog 事件，我们需要用到类似 canal 这样的第三方中间件，这无疑增加了系统的复杂度。 ClickHouse 2 阅读全文

摘要： 1、前置环境准备 1.1、查看是否存在旧版本ClickHouse [hui@hadoop201 ~]$ rpm -qa |grep clickhouse 如果存在安装数据可以卸载 yum remove -y clickhouse-common-static yum remove -y clickho 阅读全文

摘要： ClickHouse 是俄罗斯的Yandex于2016年开源的一款MPP架构(大规模并行处理)的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。 1、ClickHouse 特点 1.1、列式存储 以下面表数据为例： 采用行 阅读全文

摘要： 今天简单练习了一下 数组和循环的一些知识，写了一个小游戏，大致如下 /** * 一个小功能：学生管理系统 * 1、添加学生信息 * 2、显示学生信息 * 3、删除学生信息 * 4、修改学生信息 * 5、查看学生信息 * 6、排序 * 7、退出 */ public class StudentManag 阅读全文

摘要： 完数是什么 如果一个数恰好等于它的真因子之和，则称该数为“完全数” [2] 。各个小于它的约数（真约数,列出某数的约数，去掉该数本身，剩下的就是它的真约数）的和等于它本身的自然数叫做完全数（Perfect number），又称完美数或完备数。 例如：第一个完全数是6，它有约数1、2、3、6，除去它本 阅读全文