摘要: 本文翻自官方博客,略有添加:https://github.com/mesos/spark/wiki/Spark-Programming-GuideSpark发指南从高的面看,其实每一个Spark的用,都是一个Driver类,通运行用户定义的main函,在集群上行各种并发操作和算Spark提供的最主要的抽象,是一个性分布式据集(RDD),它是一种特殊集合,可以分布在集群的点上,以函式程操作集合的方式,行各种各样的并发操作。它可以由hdfs上的一个文件建而,或者是Driver程序中,从一个已经存在的集合而。用户可以据集存在存中,它被有效的重用,行并发操作。最后,分布式据集可以自动的从点失中恢复,再 阅读全文
posted @ 2013-09-03 17:37 vincent_hv 阅读(2099) 评论(0) 推荐(0) 编辑
摘要: 因为我只需要这么多设置,所以就只写这么多了sudo gedit /etc/rc.localecho -n 240 > /sys/devices/platform/i8042/serio1/serio2/speedecho -n 240 > /sys/devices/platform/i8042/serio1/serio2/sensitivity两个数字是可以根据需要自己调整的(最大值是255);如果只是暂时修改的话,那么就一root用户执行上面两句命令就行了好吧,这招其实在我的电脑上没有用,参见此文张http://b.crhan.com/2011/05/thinkpad_track 阅读全文
posted @ 2013-09-03 15:15 vincent_hv 阅读(555) 评论(0) 推荐(0) 编辑
摘要: 除了部署在Mesos之上, Spark也支持独立部署模式,包括一个Spark master进程和多个Spark worker进程.独立部署模式可以运行在单机上作为测试之用,也可以部署在集群上.如果你打算部署在集群上,可以使用我们提供的部署脚本启动一个集群。现在开始吧使用sbt package对进行编译,可以参考开始指南。如果打算部署单独模式,就不需要安装Mesos.手动方式启动集群通过如下命令启动单独模式的master服务:./runspark.deploy.master.Master一旦启动,master就会输出spark://IP:PORT以提示连接workers的方式。也可以通过参数“m 阅读全文
posted @ 2013-09-03 14:26 vincent_hv 阅读(3372) 评论(0) 推荐(1) 编辑
摘要: 快速开始本文将介绍如何用scala、java、python编写一个spark单击模式的程序。首先你只需要在一台机器上成功建造Spark;做法:进入Spark的根目录,输入命令:$sbt/sbt package(由于天朝伟大的防火墙,大陆地区是无法成功的,除非你可以顺利FQ),不想爬墙的可以下载预编译好的Spark,spark-0.7.2-prebuilt-hadoop1.tgz.gzSpark shell的交互式分析一、基础概念:Spark的交互式脚本是一种学习API的简单途径,也是分析数据集交互的有力工具。在Spark根目录运行:./spark-shellSpark抽象的分布式集群空间叫做R 阅读全文
posted @ 2013-09-03 11:44 vincent_hv 阅读(16189) 评论(1) 推荐(0) 编辑