摘要: 最近有位同事经常问一些Hadoop的东西,特别是Hdfs的一些细节,有些记得不清楚,所以趁机整理一波。 会按下面的大纲进行整理: 简单介绍Hdfs 简单介绍Hdfs读写流程 介绍Hdfs HA实现方式 介绍Yarn统一资源管理器 追一下Hdfs读写的源码 同时也有其他方面的整理,有兴趣可以看看: 算 阅读全文
posted @ 2021-01-25 12:01 lillcol 阅读(599) 评论(0) 推荐(1) 编辑
摘要: 此系列为动态规划相关文章。 系列历史文章: 算法系列-动态规划(1):初识动态规划 算法系列-动态规划(2):切割钢材问题 算法系列-动态规划(3):找零钱、走方格问题 算法系列-动态规划(4):买卖股票的最佳时机 新生韭菜罗拉 自从上次看到八哥收藏旧币,罗拉也想给自己捣鼓个副业,赚点零花钱。 于是 阅读全文
posted @ 2020-12-31 23:01 lillcol 阅读(1154) 评论(0) 推荐(1) 编辑
摘要: 最近在捣鼓算法,所以写一些关于算法的文章 此系列为动态规划相关文章。 系列历史文章: 算法系列-动态规划(1):初识动态规划 算法系列-动态规划(2):切割钢材问题 算法系列-动态规划(3):找零钱、走方格问题 找零钱问题,凑数问题 最近老币越来越值钱,是投资的一个好方向。 这不,八哥从某鱼入手了几 阅读全文
posted @ 2020-12-17 17:57 lillcol 阅读(1212) 评论(1) 推荐(2) 编辑
摘要: 最近全程参与了数仓的重建工作,颇有些心得。 于是萌生了写一篇关于数据仓库文章的想法。 编写此文章的过程中会查找更多的资料和结合自己工作经历,确保内容质量。 即是自己工作的记录和总结,也是更系统的捋一遍数仓。 文章会分为三个部分: 第一部分:介绍什么是数据仓库 第二部分:如何设计数据仓库 第三部分:从 阅读全文
posted @ 2020-12-12 13:48 lillcol 阅读(2962) 评论(0) 推荐(5) 编辑
摘要: 切割钢材问题 接上回说到,斐波那契数列是动态规划最简单应用,但动态规划却不是为了用来算那数列。 当时留了个尾巴,就是切割钢材的问题。 不同长度的钢材价格不一样,我现在有一根长度为n的钢材,要怎么切割才能利益最大化? 其中钢材的价格如下 长度 0 1 2 3 4 5 6 7 8 9 10 价格 0 1 阅读全文
posted @ 2020-12-06 21:35 lillcol 阅读(1695) 评论(0) 推荐(1) 编辑
摘要: 昨天,罗拉去面试回来,垂头丧气。显然是面试不顺利,我赶忙过去安慰。 经过询问才知道,罗拉面试挂在了动态规划。 说到动态规划,八哥可就来精神了,于是就结合劳拉的面试题简单的和她介绍了动态规划。 事情是这样的,劳拉的面试官给了她一道题,题目如下: 有一个数列,规律如下:1、1、2、3、5、8、13... 阅读全文
posted @ 2020-12-01 17:23 lillcol 阅读(579) 评论(4) 推荐(3) 编辑
摘要: 使用的flink版本:1.9.1 异常描述 需求: 1. 从kafka读取一条数据流 2. 经过filter初次筛选符合要求的数据 3. 然后通过map进行一次条件判断再解析。这个这个过程中可能返回null或目标输出outData。 4. 最后将outData通过自定义sink写入hbase。 转换 阅读全文
posted @ 2020-04-22 15:41 lillcol 阅读(2455) 评论(0) 推荐(0) 编辑
摘要: 关于分配器介绍内容来自 "官网" 窗口分配的概念 窗口分配程序(Window Assigners)定义如何将元素分配给窗口。 通过 或``windowAll()for non keyed streams)``指定需要的WindowAssigner。 WindowAssigner负责将每个传入元素分配 阅读全文
posted @ 2020-03-24 11:31 lillcol 阅读(2279) 评论(0) 推荐(0) 编辑
摘要: 本文实现了二叉树的深度遍历算法,分为递归与非递归 递归的实现非常简单,基本上没啥难度 非递归的实现需要根据遍历的顺序,将递归转换成循环 代码中的二叉树如下 递归 递归的实现很简单,此处不做过多赘述 非递归 非递归的实现比起递归相对复杂些。 核心是利用栈的特性,记录访问过的结点或输出的结点 非递归的实 阅读全文
posted @ 2020-03-09 11:24 lillcol 阅读(359) 评论(0) 推荐(0) 编辑
摘要: flink 触发器 触发器确定窗口(由窗口分配程序形成)何时准备由窗口函数处理。每个WindowAssigner都带有一个默认触发器。 如果默认触发器不适合需求,我们就需要自定义触发器。 主要方法 触发器接口有五种方法,允许触发器对不同的事件作出反应 1. 添加到每个窗口的元素都会调用此方法。 2. 阅读全文
posted @ 2020-02-13 12:03 lillcol 阅读(9460) 评论(1) 推荐(1) 编辑