hdc520

摘要：一、Time （1）Even time 1、Event Time 是事件发生的时间，一般就是数据本身携带的时间。这个时间通常是在事件到达 Flink 之前就确定的，并且可以从每个事件中获取到事件时间戳。 2、在 Event Time 中，时间取决于数据，而跟其他没什么关系。如果事件按照事件先后发生的 阅读全文

摘要：一、WordCount流程 1 import org.apache.flink.streaming.api.scala._ 2 3 object StreamWordCount { 4 def main(args:Array[String]):Unit={ 5 //创建流处理的执行环境 6 val 阅读全文

摘要：（1）flink的任务提交流程（无Dispatcher提交） 1、client向yarn提交application后，同时向HDFS上传flink的Jar包和配置。ResourceManager为application分配Container资源并通知对应的NodeManager启动Applicati 阅读全文

摘要：（1）事件驱动型 1、什么是事件驱动型应用程序：事件驱动的应用程序是有状态的应用程序，它从一个或多个事件中提取事件，并通过触发计算，状态更新或外部操作来对传入的事件做出反应。 2、事件驱动型应用程序与传统应用程序的区别： 1）程序与数据的位置：传统应用程序不要求程序和程序使用的数据位于相同的机器上， 阅读全文

摘要：（1）利用TreeMap排序,该方式利用小顶堆和集合重复原理的方式 , 每过来一个数据 , 跟堆顶数据进行比较 , 如果比最小的大 , 则将过来的数据替换堆顶元素 , 否则直接跳过数据 . 以此对数据进行排序。 （2）在众多的Mapper的端，首先计算出各端Mapper的TopN，然后在将每一个Ma 阅读全文

摘要：sql执行顺序：from -> on -> join -> where -> group by -> 聚集函数 -> having -> having -> select ->distinct -> union -> order by -> limit （1）分组求最大值 1、单表分组最大 //在每 阅读全文

摘要：（1）shuffle的概述 Shuffle描述着数据从map task输出到reduce task输入的这段过程。因为是分布式存储，reduce task需要跨节点去拉取其它节点上的map task结果。这一过程将会产生网络资源消耗和内存，磁盘IO的消耗。通常shuffle分为两部分：Map阶段的数 阅读全文

摘要：（1）Azkaban概述 Azkaban是一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 （2）Azkaban安装部署 1、安装好以下三个服务器，a 阅读全文

摘要：1、kafka的选取机制 它负责管理整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时，由controller负责为该分区选举新的leader副本。当检测到某个分区的ISR集合发生变化时，由controller负责通知所有broker更新其元数据信息。当使用kafka-topic 阅读全文