014_源码分析 - 随笔分类(第2页) - 罗西的思考

摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家来分析 Alink 中卡方检验的实现。阅读全文

posted @ 2020-08-29 07:32 罗西的思考阅读(1411) 评论(1) 推荐(0) 编辑

摘要：Flink的Slot概念大家应该都听说过，但是可能很多朋友还不甚了解其中细节，比如具体Slot究竟代表什么？在代码中如何实现？Slot在生成执行图、调度、分配资源、部署、执行阶段分别起到什么作用？本文和下文将带领大家一起分析源码，为你揭开Slot背后的机理。阅读全文

posted @ 2020-08-24 15:56 罗西的思考阅读(7038) 评论(0) 推荐(1) 编辑

Alink漫谈(十九) ：源码解析之分位点离散化Quantile

摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家来分析Alink中 Quantile 的实现。阅读全文

posted @ 2020-08-19 21:20 罗西的思考阅读(645) 评论(0) 推荐(0) 编辑

[源码解析] 当 Java Stream 遇见 Flink

摘要：在分析Alink源码的时候，发现Alink使用了 Java Stream，又去Flink源码搜索，发现Flink也有大量使用。一时兴起，想看看 Java Stream 和 Flink 这种流处理框架的异同点。当然这种比较还是注重于理念和设计思路上的。因为就应用领域和复杂程度来说， Java Stream 和 Flink 属于数量级别的差距。阅读全文

posted @ 2020-08-17 08:17 罗西的思考阅读(1602) 评论(0) 推荐(1) 编辑

Alink漫谈(十八) ：源码解析之多列字符串编码MultiStringIndexer

摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家来分析Alink中 MultiStringIndexer 的实现。阅读全文

posted @ 2020-08-15 07:51 罗西的思考阅读(471) 评论(0) 推荐(0) 编辑

[源码解析] Flink UDAF 背后做了什么

摘要：本文涉及到Flink SQL UDAF，Window 状态管理等部分，希望能起到抛砖引玉的作用，让大家可以借此深入了解这个领域。阅读全文

posted @ 2020-08-12 07:50 罗西的思考阅读(1201) 评论(0) 推荐(0) 编辑

Alink漫谈(十七) ：Word2Vec源码分析之迭代训练

摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文和上文将带领大家来分析Alink中 Word2Vec 的实现。阅读全文

posted @ 2020-08-08 09:40 罗西的思考阅读(692) 评论(0) 推荐(0) 编辑

Alink漫谈(十六) ：Word2Vec源码分析之建立霍夫曼树

摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式、流式算法的机器学习平台。本文和下文将带领大家来分析Alink中 Word2Vec 的实现。阅读全文

posted @ 2020-08-03 18:10 罗西的思考阅读(1224) 评论(0) 推荐(0) 编辑

Alink漫谈(十五) ：多层感知机之迭代优化

摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文和前文将带领大家来分析Alink中多层感知机的实现。阅读全文

posted @ 2020-07-29 20:49 罗西的思考阅读(1055) 评论(0) 推荐(0) 编辑

Alink漫谈(十二) ：在线学习算法FTRL 之整体设计

摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文和下文将介绍在线学习算法FTRL在Alink中是如何实现的，希望对大家有所帮助。阅读全文

posted @ 2020-07-16 21:46 罗西的思考阅读(2762) 评论(0) 推荐(0) 编辑

Alink漫谈(十一) ：线性回归之 L-BFGS优化

摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文介绍了线性回归的L-BFGS优化在Alink是如何实现的，希望可以作为大家看线性回归代码的Roadmap。阅读全文

posted @ 2020-07-12 20:26 罗西的思考阅读(1803) 评论(0) 推荐(1) 编辑

Alink漫谈(十) ：线性回归实现之数据预处理

摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文和下文将介绍线性回归在Alink中是如何实现的，希望可以作为大家看线性回归代码的Roadmap。阅读全文

posted @ 2020-07-11 08:16 罗西的思考阅读(2989) 评论(0) 推荐(0) 编辑

[源码解析]Oozie来龙去脉之内部执行

摘要：Oozie由Cloudera公司贡献给Apache的基于工作流引擎的开源框架，是用于Hadoop平台的开源的工作流调度引擎，用来管理Hadoop作业，进行。本文是系列的第二篇，介绍Oozie的内部执行阶段。阅读全文

posted @ 2020-07-08 21:20 罗西的思考阅读(1808) 评论(0) 推荐(1) 编辑

Alink漫谈(九) ：特征工程之特征哈希/标准化缩放

摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将剖析Alink “特征工程” 部分对应代码实现。阅读全文

posted @ 2020-07-04 06:42 罗西的思考阅读(2975) 评论(0) 推荐(0) 编辑

[源码解析]Oozie来龙去脉之提交任务

摘要：Oozie是由Cloudera公司贡献给Apache的基于工作流引擎的开源框架，是Hadoop平台的开源的工作流调度引擎，用来管理Hadoop作业。本文是系列的第一篇，介绍Oozie的任务提交阶段。阅读全文

posted @ 2020-06-29 20:58 罗西的思考阅读(1312) 评论(0) 推荐(0) 编辑

Alink漫谈(八) : 二分类评估 AUC、K-S、PRC、Precision、Recall、LiftChart 如何实现

摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。二分类评估是对二分类算法的预测结果进行效果评估。本文将剖析Alink中对应代码实现。阅读全文

posted @ 2020-06-26 10:36 罗西的思考阅读(1152) 评论(1) 推荐(0) 编辑

[源码解析] 从TimeoutException看Flink的心跳机制

摘要：本文从一个调试时候常见的异常 "TimeoutException: Heartbeat of TaskManager timed out"切入，为大家剖析Flink的心跳机制。文中代码基于Flink 1.10。阅读全文

posted @ 2020-06-23 22:03 罗西的思考阅读(3374) 评论(0) 推荐(0) 编辑

[源码解析] GroupReduce，GroupCombine 和 Flink SQL group by

摘要：本文从源码和实例入手，为大家解析 Flink 中 GroupReduce 和 GroupCombine 的用途。也涉及到了 Flink SQL group by 的内部实现。阅读全文

posted @ 2020-06-16 21:31 罗西的思考阅读(2414) 评论(0) 推荐(0) 编辑

Alink漫谈(七) : 如何划分训练数据集和测试数据集

摘要：Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支持批式算法、流式算法的机器学习平台。本文将为大家展现Alink如何划分训练数据集和测试数据集。阅读全文

posted @ 2020-06-12 22:45 罗西的思考阅读(1705) 评论(0) 推荐(1) 编辑

[源码解析] Flink的groupBy和reduce究竟做了什么

摘要：Groupby和reduce是大数据领域常见的算子，但是很多同学应该对其背后机制不甚了解。本文将从源码入手，为大家解析Flink中Groupby和reduce的原理，看看他们在背后做了什么。阅读全文

posted @ 2020-06-09 20:28 罗西的思考阅读(5208) 评论(0) 推荐(0) 编辑

随笔分类 - 014_源码分析

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论