关闭页面特效
07 2020 档案
flink入门到实战（10）Apache Flink 介绍
摘要：前言 Flink 是一种流式计算框架，为什么我会接触到 Flink 呢？ 因为我目前在负责的是监控平台的告警部分，负责采集到的监控数据会直接往 kafka 里塞，然后告警这边需要从 kafka topic 里面实时读取到监控数据，并将读取到的监控数据做一些 聚合/转换/计算 等操作，然后将计算后的结
阅读全文
数据结构之（6）python实现双链表
摘要：介绍 双向链表比之单向链表，多数操作方法的实现都没有什么不同，如is_empty, __len__, traverse, search。这些方法都没有涉及节点的变动，也就可通过继承单向链表来实现即可。 不同之处一是在于节点实现的不同。因为增加了指向前一个节点的前驱区，因此需要为节点添加一个新属性pr
阅读全文
数据结构之（5）python实现单链表
摘要：介绍 为什么需要链表？ 对于上部分顺序表的学习，我们了解到在构建顺序表时需要预先知道数据大小来申请连续的存储空间，而在进行扩充的时候又需要进行数据的搬迁，所以使用起来并不是很灵活。 那我们就想，能不能存在一种数据结构是的在数据扩充的时候，在原有的数据完全不变化，扩充一个数据就增加一个，我们需要这样的
阅读全文
flink入门到实战（9）Flink 作业问题分析和调优实践
摘要：1. 原理剖析 2. 性能定位 3. 经典场景调优 4. 内存调优 Checkpoint 机制 1.什么是 checkpoint 简单地说就是 Flink 为了达到容错和 exactly-once 语义的功能，定期把 state 持久化下来，而这一持久化的过程就叫做 checkpoint ，它是 F
阅读全文
flink入门到实战（8）flink 有状态 udf引发的大坑一
摘要：场景 最近在做一个画像的任务，sql实现的，其中有一个udf，会做很多事情，包括将从redis读出历史值加权，并将中间结果和加权后的结果更新到redis。 大家都知道，flink 是可以支持事件处理的，也就是可以没有时间的概念，那么在聚合，join等操作的时候，flink内部会维护一个状态，假如此时
阅读全文
flink入门到实战（7）flink checkpoint 在 window 操作下 全局配置失效的问题
摘要：背景 flink 版本号 1.6.2 flink 集群模式 flink on yarn 使用flink 读取kafka 数据 简单处理之后使用自定义richWindowFunction 处理数据的时候出现异常报错: AsynchronousException{java.lang.Exception:
阅读全文
数据结构之（4）python实现十大经典排序算法
摘要：使用场景： 1，空间复杂度 越低越好、n值较大： 堆排序 O(nlog2n) O(1) 2，无空间复杂度要求、n值较大： 桶排序 O(n+k) O(n+k) 经典排序算法图解： 经典排序算法的复杂度： 大类一（比较排序法）： 1、冒泡排序（Bubble Sort）【前后比较-交换】 python代码
阅读全文
大数据集群运维（23）Flink on yarn 常见错误
摘要：1 Retrying connect to server Flink on yarn 依赖 hadoop 集群，在没有启动hadoop之前，直接执行Flink启动命令 ./bin/yarn-session.sh -n 1 -jm 1024 -tm 4096 结果就是flink连不上ResourceM
阅读全文
