摘要: 本文总结了在OpenResty中的操作,与大家分享,涉及知识点为Openresty, Lua, Redis。 阅读全文
posted @ 2020-06-20 21:41 罗西的思考 阅读(959) 评论(0) 推荐(0) 编辑
摘要: 二分类评估是对二分类算法的预测结果进行效果评估。本文将构造出一个水泊梁山的具体实例带领大家梳理相关概念。 阅读全文
posted @ 2020-06-20 07:54 罗西的思考 阅读(3778) 评论(0) 推荐(4) 编辑
摘要: 本文从一个bug入手,为大家展示Hadoop Speculative机制,以及编写mapreduce程序的注意点。 阅读全文
posted @ 2020-06-19 20:36 罗西的思考 阅读(472) 评论(0) 推荐(0) 编辑
摘要: 本文从源码和实例入手,为大家解析 Flink 中 GroupReduce 和 GroupCombine 的用途。也涉及到了 Flink SQL group by 的内部实现。 阅读全文
posted @ 2020-06-16 21:31 罗西的思考 阅读(2369) 评论(0) 推荐(0) 编辑
摘要: [记录点滴]在Ionic和Android中上传Blob图片 0x00 摘要 本文是开发中的简略记录,具体涉及知识点有:Blob,Ionic,Android和Lua。 起因是因为刚刚看到一篇关于Blob的文章你不知道的 Blob ,突然回忆起来在开发过程中也曾经使用过这种图片,所以就翻了翻代码,整理记 阅读全文
posted @ 2020-06-14 08:33 罗西的思考 阅读(494) 评论(0) 推荐(0) 编辑
摘要: Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。本文将为大家展现Alink如何划分训练数据集和测试数据集。 阅读全文
posted @ 2020-06-12 22:45 罗西的思考 阅读(1596) 评论(0) 推荐(1) 编辑
摘要: Groupby和reduce是大数据领域常见的算子,但是很多同学应该对其背后机制不甚了解。本文将从源码入手,为大家解析Flink中Groupby和reduce的原理,看看他们在背后做了什么。 阅读全文
posted @ 2020-06-09 20:28 罗西的思考 阅读(5110) 评论(0) 推荐(0) 编辑
摘要: 本文提出了一种用Redis实现简单消息队列的方案,适合在资源不足的条件下临时使用。 阅读全文
posted @ 2020-06-07 22:15 罗西的思考 阅读(819) 评论(1) 推荐(1) 编辑
摘要: Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法、流式算法的机器学习平台。TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。本文将为大家展现Alink如何实现TF-IDF。 阅读全文
posted @ 2020-06-05 21:52 罗西的思考 阅读(1511) 评论(0) 推荐(1) 编辑
摘要: 自从函数式编程和响应式编程逐渐进入到程序员的生活之后,map函数作为其中一个重要算子也为大家所熟知,无论是前端web开发,手机开发还是后端服务器开发,都很难逃过它的手心。而在大数据领域中又往往可以见到另外一个算子mapPartition的身影。在性能调优中,经常会被建议尽量用 mappartition 操作去替代 map 操作。本文将从Flink源码和示例入手,为大家解析为什么mapPartition比map更高效。 阅读全文
posted @ 2020-06-02 21:47 罗西的思考 阅读(1260) 评论(0) 推荐(1) 编辑