Spark集群模式&Spark程序提交
摘要：
Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop... 阅读全文
posted @ 2014-10-19 22:02 张云临 阅读(109) 评论(0) 推荐(0) 编辑
IDEA阅读Spark源码
摘要：
将spark编译成idea-sbt工程 tar -zxvf spark-1.1.0.tgz cd spark-1.1.0 sbt/sbt gen-idea 等待…… 成功后就能以SBT工程的形式导入idea进行阅读运行。 如果提示栏出现如下的提示内容"is waiting ... 阅读全文
posted @ 2014-10-19 18:27 张云临 阅读(208) 评论(0) 推荐(0) 编辑
RDD：基于内存的集群计算容错抽象
摘要：
转载自：http://shiyanjun.cn/archives/744.html 摘要 本文提出了分布式内存抽象的概念——弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大... 阅读全文
posted @ 2014-10-10 20:56 张云临 阅读(135) 评论(0) 推荐(0) 编辑
使用IDEA运行Spark程序
摘要：
使用IDEA运行Spark程序 1.安装IDEA 从IDEA官网下载Community版本，解压到/usr/local/idea目录下。 tar –xzf ideaIC-13.1.4b.tar.gz mv idea-IC-135.1230/ /usr/local/idea 为了方便使用其bi... 阅读全文
posted @ 2014-09-29 14:04 张云临 阅读(787) 评论(1) 推荐(0) 编辑
scala for spark
摘要：
写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541 阅读全文
posted @ 2014-09-28 08:28 张云临 阅读(140) 评论(0) 推荐(0) 编辑
Spark源码编译
摘要：
为什么需要编译？ 因为不同版本的HDFS在协议上是不兼容的，所以如果你想用你的Spark从HDFS上读取数据，那么你就的选择相应版本的HDFS来编译Spark，这个可以在编译的时候通过设置hadoop.version来选择，默认情况下，Spark默认为编译成Hadoop 1.0.... 阅读全文
posted @ 2014-09-28 08:10 张云临 阅读(160) 评论(0) 推荐(0) 编辑
5分钟弄懂Docker！
摘要：
尽管之前久闻Docker的大名了，但是天资愚钝，对其到底是个啥东西一直摸不清，最近花了一段时间整理了一下，算是整理出一点头绪来。 官网的介绍是这样的： Docker is an open platform for developers and sysadmins to build,... 阅读全文
posted @ 2014-09-09 10:00 张云临 阅读(134) 评论(0) 推荐(0) 编辑
开源HTML5 APP开发神器CanTK发布
摘要：
CanTK是一套基于HTML5 Canvas的GUI系统，它提供了完整的控件库，事件分发系统，窗口管理系统和不同的平台的适配。CanTK是为解决HTML5 App开发的两个基本难题而生的： 开发真正Native体验的APP。 HTML的基因是文档，它的长处是呈现内容，而不是与用户交互，... 阅读全文
posted @ 2014-09-08 07:35 张云临 阅读(229) 评论(0) 推荐(0) 编辑
scala学习笔记5 （隐式转化/参数/类）
摘要：
隐式转化： 隐式参数： 隐式类： 阅读全文
posted @ 2014-09-07 21:03 张云临 阅读(89) 评论(0) 推荐(0) 编辑
scala学习笔记4（apply方法）
摘要：
class ApplyTest{ def apply() = "This apply is in class" def test{ println("test") }}//放在 object 对象中的方法都是静态方法//由于 object 中的方法和属性都是静态的，所以就是单例的理想... 阅读全文
posted @ 2014-09-02 18:41 张云临 阅读(141) 评论(0) 推荐(0) 编辑
