spark初始：spark腾讯雅虎优酷成功应用解析
摘要：http://blog.csdn.net/lifuxiangcaohui/article/details/38041587 Break-Li 做一个多思考，多设计规划的码农--李工 Break-Li 做一个多思考，多设计规划的码农--李工 Break-Li 做一个多思考，多设计规划的码农--李工 B
阅读全文
posted @ 2017-10-25 10:09
文章分类 - spark
解决spark中遇到的数据倾斜问题
摘要：解决spark中遇到的数据倾斜问题 http://blog.csdn.net/lsshlsw/article/details/52025949 一. 数据倾斜的现象 多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。 二. 数据倾斜的原因 常见于各种s
阅读全文
posted @ 2017-08-16 17:04
Spark高级操作之json复杂和嵌套数据结构的操作
摘要：一，基本介绍 本文主要讲spark2.0版本以后存在的Sparksql的一些实用的函数，帮助解决复杂嵌套的json数据格式，比如，map和嵌套结构。Spark2.1在spark 的Structured Streaming也可以使用这些功能函数。 下面几个是本文重点要讲的方法。 A),get_json
阅读全文
posted @ 2017-08-05 19:35
Spark和Hadoop作业之间的区别
摘要：https://www.iteblog.com/archives/1183.html Spark目前被越来越多的企业使用，和Hadoop一样，Spark也是以作业的形式向集群提交任务，那么在内部实现Spark和Hadoop作业模型都一样吗？答案是不对的。 熟悉Hadoop的人应该都知道，用户先编写好
阅读全文
posted @ 2017-08-02 20:46
Spark笔记：复杂RDD的API的理解（下）
摘要：http://www.cnblogs.com/sharpxiajun/p/5521495.html 本篇接着谈谈那些稍微复杂的API。 1) flatMapValues：针对Pair RDD中的每个值应用一个返回迭代器的函数，然后对返回的每个元素都生成一个对应原键的键值对记录 这个方法我最开始接触时
阅读全文
posted @ 2017-08-02 20:42
Spark笔记：复杂RDD的API的理解（上）
摘要：http://www.cnblogs.com/sharpxiajun/p/5513612.html 本篇接着讲解RDD的API，讲解那些不是很容易理解的API，同时本篇文章还将展示如何将外部的函数引入到RDD的API里使用，最后通过对RDD的API深入学习，我们还讲讲一些和RDD开发相关的scala
阅读全文
posted @ 2017-08-02 20:40
Spark笔记：RDD基本操作（上）
摘要：http://www.cnblogs.com/sharpxiajun/p/5506822.html 本文主要是讲解spark里RDD的基础操作。RDD是spark特有的数据模型，谈到RDD就会提到什么弹性分布式数据集，什么有向无环图，本文暂时不去展开这些高深概念，在阅读本文时候，大家可以就把RDD当
阅读全文
posted @ 2017-08-02 20:39
Spark笔记：RDD基本操作（下）
摘要：http://www.cnblogs.com/sharpxiajun/p/5510215.html 上一篇里我提到可以把RDD当作一个数组，这样我们在学习spark的API时候很多问题就能很好理解了。上篇文章里的API也都是基于RDD是数组的数据模型而进行操作的。 Spark是一个计算框架，是对ma
阅读全文
posted @ 2017-08-02 20:39
