随笔分类 - Spark摘记
关于spark、spark streaming、spark sql等spark组件内容的摘记
摘要：本文参考 参考《Spark快速大数据分析》动物书中的第四章"键值对操作"，本篇是对RDD转化操作和行动操作API归纳的最后一篇 RDD转化操作API归纳：https://www.cnblogs.com/kuluo/p/12545374.html RDD行动操作API归纳：https://www.cn
阅读全文
摘要：本文参考 参考《Spark快速大数据分析》动物书中的第四章"键值对操作"，由于pair RDD的一些特殊操作，没有和前面两篇的API归纳放在一起做示例 前面的几个api —— reduceByKey()函数、foldByKey()函数、groupByKey()函数、combineByKey()函数、
阅读全文
摘要：本文参考 参考《Spark快速大数据分析》动物书中的第三章"RDD编程"，前一篇文章已经概述了转化操作相关的API，本文再介绍行动操作API 和转化操作API不同的是，行动操作API只能作用于一个RDD RDD转化操作API归纳：https://www.cnblogs.com/kuluo/p/125
阅读全文
摘要：本文参考 在阅读了《Spark快速大数据分析》动物书后，大概了解到了spark常用的api，不过书中并没有给予所有api具体的示例，而且现在spark的最新版本已经上升到了2.4.5，动物书中的spark版本还停留在1.2.0，所以就有了这篇文章，在最新的2.4.5版本下测试常用的api 由于spa
阅读全文
