打赏

随笔分类 -  Spark Scala语言学习系列

java.lang.UnsupportedOperationException: setXIncludeAware is not supported on this JAXP implementation or earlier: class gnu.xml.dom.JAXPFactory的解决办法（图文详解）
摘要：不多说，直接上干货！ 问题详情 问题分析 是jdk的版本、scala版本的子小版本导致的。 是以下的 是以下的 解决办法 用我下面的这两个 阅读全文
posted @ 2017-09-01 22:53 大数据和AI躺过的坑 阅读(3790) 评论(0) 推荐(0) 编辑
Exception in thread "main" java.lang.UnsupportedClassVersionError: com/google/common/base/Function : Unsupported major.minor version 52.0的解决办法（图文详解）
摘要：不多说，直接上干货！ 问题详情 52.0是jdk1.8 51.0是jdk1.7 问题分析 是jdk的版本、scala版本的子小版本导致的。 是以下的 是以下的 解决办法 用我下面的这两个 阅读全文
posted @ 2017-09-01 22:49 大数据和AI躺过的坑 阅读(4173) 评论(0) 推荐(0) 编辑
TopN问题（分别使用Hadoop和Spark实现）
摘要：简介 TopN算法是一个经典的算法，由于每个map都只是实现了本地的TopN算法，而假设map有M个，在归约的阶段只有M x N个，这个结果是可以接受的并不会造成性能瓶颈。 这个TopN算法在map阶段将使用TreeMap来实现排序，以到达可伸缩的目的。 当然算法有两种，一种是唯一键，就是说key的 阅读全文
posted @ 2017-06-06 09:09 大数据和AI躺过的坑 阅读(5278) 评论(0) 推荐(0) 编辑
二次排序问题（分别使用Hadoop和Spark实现）
摘要：不多说，直接上干货！ 这篇博客里的算法部分的内容来自《数据算法：Hadoop/Spark大数据处理技巧》一书，不过书中的代码虽然思路正确，但是代码不完整，并且只有java部分的编程，我在它的基础上又加入scala部分，当然是在使用Spark的时候写的scala。 一、输入、期望输出、思路。 输入为S 阅读全文
posted @ 2017-06-06 09:07 大数据和AI躺过的坑 阅读(2479) 评论(1) 推荐(0) 编辑
Spark Scala语言学习系列之完成HelloWorld程序（三种方式）
摘要：三种方式完成HelloWorld程序 分别采用在REPL，命令行（scala脚本）和Eclipse下运行hello world。 一、Scala REPL。 windows下安装好scala后，直接Ctrl+R，然后在运行命令窗里输入scala，或者输入cmd后，进入命令行在输入scala。 然后我 阅读全文
posted @ 2017-06-06 09:02 大数据和AI躺过的坑 阅读(2461) 评论(0) 推荐(0) 编辑
scala里的模式匹配和Case Class
摘要：模式匹配的简介 scala语言里的模式匹配可以看作是java语言中switch语句的改进。 模式匹配的类型 包括：常量模式、变量模式、构造器模式、序列模式、元组模式以及变量绑定模式等。 常量模式匹配 常量模式匹配，就是在模式匹配中匹配常量啦。 objectConstantPattern{ def m 阅读全文
posted @ 2016-11-29 21:14 大数据和AI躺过的坑 阅读(12722) 评论(0) 推荐(0) 编辑
元组Tuple、数组Array、映射Map
摘要：一、元组Tuple 元组Tuple是不同类型的值的聚集，元组的值将单个的值包含在圆括号中来构成，元组可以包含一个不同类型的元素 如 val riple = (100, "Scala" , "Spark")1、元组中可以包含不同类型的元素，如上，把鼠标放在riple上，IDE会自动推断出元组riple 阅读全文
posted @ 2016-11-29 20:16 大数据和AI躺过的坑 阅读(1520) 评论(0) 推荐(0) 编辑
Scala入门到精通
摘要：原文出自于： http://my.csdn.net/lovehuangjiaju 感谢！ 也感谢，http://m.blog.csdn.net/article/details?id=52233484 这是本人收集的Scala学习资料，觉得还不错。转载比较费事，所以就只给链接了。顺便做个目标，方便好找 阅读全文
posted @ 2016-11-08 22:50 大数据和AI躺过的坑 阅读(7047) 评论(0) 推荐(2) 编辑
Scala的下载和安装（本地）
摘要：前言 Scala版本的选法： 目前，Kafka库和JDBC并不支持Scala2.11的编译，以及结合大多数人的使用请来看。 scala2.10.*为主，在这，scala2.10.4版本，强烈推荐！ 现在，已经是Scala2.10.6 和 Scala2.11.8居多。 1、Scala的下载 http: 阅读全文
posted @ 2016-09-18 16:08 大数据和AI躺过的坑 阅读(9714) 评论(0) 推荐(0) 编辑
关于学习Scala语言的一些感悟
摘要：进入话题！ 我们知道哈，Spark源码采用Scala语言编写，那么阅读Spark源码之前，是否一定先学Scala呢? 我个人认为，不必，只要我们有一些java或c++编写语言的基础，就可以看Spark源码，遇到不懂的地方再去学习，效率反而会大大提高，做到有的放矢。 将学习中遇到的知识点，从函数式编程 阅读全文
posted @ 2016-09-11 20:32 大数据和AI躺过的坑 阅读(1881) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示