随笔分类 -  spark

spark | 手把手教你用spark进行数据预处理
摘要：本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是spark专题的第七篇文章，我们一起看看spark的数据分析和处理。 过滤去重 在机器学习和数据分析当中，对于数据的了解和熟悉都是最基础的。所谓巧妇难为无米之炊，如果说把用数据构建一个模型或者是支撑一个复杂的上层业务比喻成做饭的话。那 阅读全文
posted @ 2020-07-02 12:12 Coder梁 阅读(4184) 评论(0) 推荐(0) 编辑
想学spark但是没有集群也没有数据？没关系，我来教你白嫖一个！
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是spark专题的第六篇文章，这篇文章会介绍一个免费的spark平台，我们可以基于这个平台做一些学习实验。 databricks 今天要介绍的平台叫做databricks，它是spark的创建者开发的统一分析平台。单凭spark创建 阅读全文
posted @ 2020-05-24 09:05 Coder梁 阅读(683) 评论(0) 推荐(1) 编辑
spark是怎么从RDD升级到DataFrame的？
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是spark专题的第五篇，我们来看看DataFrame。 用过Python做过机器学习的同学对Python当中pandas当中的DataFrame应该不陌生，如果没做过也没有关系，我们简单来介绍一下。DataFrame翻译过来的意思 阅读全文
posted @ 2020-05-10 23:33 Coder梁 阅读(733) 评论(0) 推荐(1) 编辑
spark中的pair rdd，看这一篇就够了
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是spark专题的第四篇文章，我们一起来看下Pair RDD。 定义 在之前的文章当中，我们已经熟悉了RDD的相关概念，也了解了RDD基本的转化操作和行动操作。今天我们来看一下RDD当中非常常见的PairRDD，也叫做键值对RDD， 阅读全文
posted @ 2020-04-26 19:48 Coder梁 阅读(3249) 评论(0) 推荐(2) 编辑
spark——详解rdd常用的转化和行动操作
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是spark第三篇文章，我们继续来看RDD的一些操作。 我们前文说道在spark当中RDD的操作可以分为两种，一种是转化操作(transformation），另一种是行动操作(action)。在转化操作当中，spark不会为我们计算 阅读全文
posted @ 2020-04-19 20:54 Coder梁 阅读(2120) 评论(0) 推荐(1) 编辑
spark——spark中常说RDD，究竟RDD是什么？
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是spark专题第二篇文章，我们来看spark非常重要的一个概念——RDD。 在上一讲当中我们在本地安装好了spark，虽然我们只有local一个集群，但是仍然不妨碍我们进行实验。spark最大的特点就是无论集群的资源如何，进行计算 阅读全文
posted @ 2020-04-12 21:20 Coder梁 阅读(1906) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示