06 2020 档案
摘要：之前研究Ionic编译过程的笔记，发出来做个记录。当时是因为有些图片没有拷贝到应用中，所以需要调试编译过程。
阅读全文
摘要：Oozie是由Cloudera公司贡献给Apache的基于工作流引擎的开源框架，是Hadoop平台的开源的工作流调度引擎，用来管理Hadoop作业。本文是系列的第一篇，介绍Oozie的任务提交阶段。
阅读全文
摘要：一个Python中实现flatten的方法
阅读全文
摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。二分类评估是对二分类算法的预测结果进行效果评估。本文将剖析Alink中对应代码实现。
阅读全文
摘要：0x00 问题 最近在调试一个网上的项目，结果遇到两个问题，特此记录下解决过程。 问题： 某一个jar包有版本冲突 某一个类，居然在IntelliJ IDEA中运行调试时候找不到 0x01 解决途径 某一个jar包有版本冲突 这个相对容易，就是使用 mvn dependency:tree -Dver
阅读全文
摘要：本文是开发中的简略记录，具体涉及知识点有：Lua，随机数。
阅读全文
摘要：本文从一个调试时候常见的异常 "TimeoutException: Heartbeat of TaskManager timed out"切入，为大家剖析Flink的心跳机制。文中代码基于Flink 1.10。
阅读全文
摘要：本文总结了在OpenResty中的操作，与大家分享，涉及知识点为Openresty, Lua, Redis。
阅读全文
摘要：二分类评估是对二分类算法的预测结果进行效果评估。本文将构造出一个水泊梁山的具体实例带领大家梳理相关概念。
阅读全文
摘要：本文从一个bug入手，为大家展示Hadoop Speculative机制，以及编写mapreduce程序的注意点。
阅读全文
摘要：本文从源码和实例入手，为大家解析 Flink 中 GroupReduce 和 GroupCombine 的用途。也涉及到了 Flink SQL group by 的内部实现。
阅读全文
摘要：[记录点滴]在Ionic和Android中上传Blob图片 0x00 摘要 本文是开发中的简略记录，具体涉及知识点有：Blob，Ionic，Android和Lua。 起因是因为刚刚看到一篇关于Blob的文章你不知道的 Blob ，突然回忆起来在开发过程中也曾经使用过这种图片，所以就翻了翻代码，整理记
阅读全文
摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将为大家展现Alink如何划分训练数据集和测试数据集。
阅读全文
摘要：Groupby和reduce是大数据领域常见的算子，但是很多同学应该对其背后机制不甚了解。本文将从源码入手，为大家解析Flink中Groupby和reduce的原理，看看他们在背后做了什么。
阅读全文
摘要：本文提出了一种用Redis实现简单消息队列的方案，适合在资源不足的条件下临时使用。
阅读全文
摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。本文将为大家展现Alink如何实现TF-IDF。
阅读全文
摘要：自从函数式编程和响应式编程逐渐进入到程序员的生活之后，map函数作为其中一个重要算子也为大家所熟知，无论是前端web开发，手机开发还是后端服务器开发，都很难逃过它的手心。而在大数据领域中又往往可以见到另外一个算子mapPartition的身影。在性能调优中，经常会被建议尽量用 mappartition 操作去替代 map 操作。本文将从Flink源码和示例入手，为大家解析为什么mapPartition比map更高效。
阅读全文