随笔分类 -  002_大数据

摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文和上文将带领大家来分析Alink中 聚类评估 的实现。 阅读全文
posted @ 2020-09-26 08:41 罗西的思考 阅读(767) 评论(0) 推荐(0) 编辑
摘要:Flink的Slot概念大家应该都听说过,但是可能很多朋友还不甚了解其中细节,比如具体Slot究竟代表什么?在代码中如何实现?Slot在生成执行图、调度、分配资源、部署、执行阶段分别起到什么作用?本文和上文将带领大家一起分析源码,为你揭开Slot背后的机理。 阅读全文
posted @ 2020-09-04 17:00 罗西的思考 阅读(1261) 评论(1) 推荐(2) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家来分析 Alink 中 卡方检验 的实现。 阅读全文
posted @ 2020-08-29 07:32 罗西的思考 阅读(1409) 评论(1) 推荐(0) 编辑
摘要:Flink的Slot概念大家应该都听说过,但是可能很多朋友还不甚了解其中细节,比如具体Slot究竟代表什么?在代码中如何实现?Slot在生成执行图、调度、分配资源、部署、执行阶段分别起到什么作用?本文和下文将带领大家一起分析源码,为你揭开Slot背后的机理。 阅读全文
posted @ 2020-08-24 15:56 罗西的思考 阅读(7020) 评论(0) 推荐(1) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家来分析Alink中 Quantile 的实现。 阅读全文
posted @ 2020-08-19 21:20 罗西的思考 阅读(643) 评论(0) 推荐(0) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文将带领大家来分析Alink中 MultiStringIndexer 的实现。 阅读全文
posted @ 2020-08-15 07:51 罗西的思考 阅读(471) 评论(0) 推荐(0) 编辑
摘要:本文涉及到Flink SQL UDAF,Window 状态管理等部分,希望能起到抛砖引玉的作用,让大家可以借此深入了解这个领域。 阅读全文
posted @ 2020-08-12 07:50 罗西的思考 阅读(1200) 评论(0) 推荐(0) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文和上文将带领大家来分析Alink中 Word2Vec 的实现。 阅读全文
posted @ 2020-08-08 09:40 罗西的思考 阅读(691) 评论(0) 推荐(0) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式、流式算法的机器学习平台。本文和下文将带领大家来分析Alink中 Word2Vec 的实现。 阅读全文
posted @ 2020-08-03 18:10 罗西的思考 阅读(1220) 评论(0) 推荐(0) 编辑
摘要:本文通过分析学习两篇文章来看目前工业界可能偏好的解决方案,也顺便探寻下Yarn的未来发展方向。 阅读全文
posted @ 2020-08-01 08:52 罗西的思考 阅读(650) 评论(0) 推荐(1) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文和前文将带领大家来分析Alink中多层感知机的实现。 阅读全文
posted @ 2020-07-29 20:49 罗西的思考 阅读(1048) 评论(0) 推荐(0) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文和下文将带领大家来分析Alink中多层感知机的实现。 阅读全文
posted @ 2020-07-26 18:03 罗西的思考 阅读(885) 评论(0) 推荐(0) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文和上文一起介绍了在线学习算法 FTRL 在Alink中是如何实现的,希望对大家有所帮助。 阅读全文
posted @ 2020-07-22 21:03 罗西的思考 阅读(1592) 评论(0) 推荐(1) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文和下文将介绍在线学习算法FTRL在Alink中是如何实现的,希望对大家有所帮助。 阅读全文
posted @ 2020-07-16 21:46 罗西的思考 阅读(2756) 评论(0) 推荐(0) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文介绍了线性回归的L-BFGS优化在Alink是如何实现的,希望可以作为大家看线性回归代码的Roadmap。 阅读全文
posted @ 2020-07-12 20:26 罗西的思考 阅读(1793) 评论(0) 推荐(1) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文和下文将介绍线性回归在Alink中是如何实现的,希望可以作为大家看线性回归代码的Roadmap。 阅读全文
posted @ 2020-07-11 08:16 罗西的思考 阅读(2975) 评论(0) 推荐(0) 编辑
摘要:Oozie由Cloudera公司贡献给Apache的基于工作流引擎的开源框架,是用于Hadoop平台的开源的工作流调度引擎,用来管理Hadoop作业,进行。本文是系列的第二篇,介绍Oozie的内部执行阶段。 阅读全文
posted @ 2020-07-08 21:20 罗西的思考 阅读(1808) 评论(0) 推荐(1) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文将剖析Alink “特征工程” 部分对应代码实现。 阅读全文
posted @ 2020-07-04 06:42 罗西的思考 阅读(2971) 评论(0) 推荐(0) 编辑
摘要:Oozie是由Cloudera公司贡献给Apache的基于工作流引擎的开源框架,是Hadoop平台的开源的工作流调度引擎,用来管理Hadoop作业。本文是系列的第一篇,介绍Oozie的任务提交阶段。 阅读全文
posted @ 2020-06-29 20:58 罗西的思考 阅读(1311) 评论(0) 推荐(0) 编辑
摘要:Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。二分类评估是对二分类算法的预测结果进行效果评估。本文将剖析Alink中对应代码实现。 阅读全文
posted @ 2020-06-26 10:36 罗西的思考 阅读(1151) 评论(1) 推荐(0) 编辑

点击右上角即可分享
微信分享提示