摘要：一、Flink底层通信技术 Akka + Netty Akka：它是基于协程的，基于scala的偏函数 Netty：相比更加基础一点，可以为不同的应用层通信协议（RPC，FTP，HTTP等）提供支持 1.1 Akka 简介，Flink叫 XXXGateWay 组件介绍 （1）ActorSystem 阅读全文

摘要：一、分组简介 RegionServer Group 通过对 RegionServer 进行分组，不同的 RegionServer 分到不同的组。每个组可以按需挂载不同的表，并且当组内的表发生异常后，Region 不会迁移到其他的组。这样，每个组就相当于一个逻辑上的子集群，通过这种方式达到资源隔离的效 阅读全文

摘要：一、简介 下载源码：git clone https://github.com/alibaba/canal.git canal.adapter： 作用1：对接上游消息，包括kafka、rocketmq、canal-server 作用2：实现mysql数据的增量同步 作用3：实现mysql数据的全量同步 阅读全文

摘要：一、内存Job管理模式yarn-per-job 使用介绍：常用的模式 二、内存集中管理模式yarn-session 使用介绍：当作业很少并且都较小，能快速执行完成时，可以使用。否则一般不会使用该模式 第一步：yarn-session.sh(开辟资源) 第二步：flink run（提交任务） 阅读全文

摘要：一、参数介绍 作业模式：yarn-per-job 基本参数 描述 -ynm(Custom Yarnname) 自定义的Yarn名字 -yqu 指定Yarn队列名 -yn (TaskManager) Flink的TaskManager数目,Flink引擎运行需要由一个JobManager以及若干个Ta 阅读全文

摘要：一、查看文件 1、查看目录下文件 hdfs dfs -ls /user/hadoopDemo 2、查看文件内容 hdfs dfs -cat /user/hadoopDemo/hadoop/output hdfs dfs -text /user/hive/47-0000000001407771492 阅读全文

摘要：一、修改表结构 1、添加删除分区 添加分区：alter table app.app_tabe1 add if not exists partition(dt = '20210621', hour = '17'); 删除分区：alter table app.app_tab1 drop partitio 阅读全文