摘要：
linux目录树：解释：a>:/bin 二进制可执行命令/dev 设备特殊文件/etc 系统管理和系统配置文件/etc/rc.d 启动的配置文件和脚本/home 用户目录的基点/lib 标准程序设计库/sbin 超级管理命令/tmp 公共的临时文件存储点/root root的主目录/mnt 系统提供这个目录是让用户临时挂在其他的文件系统 /lost+fou... 阅读全文
摘要：
快速开始本文将介绍如何用scala、java、python编写一个spark单击模式的程序。首先你只需要在一台机器上成功建造Spark；做法：进入Spark的根目录，输入命令：$sbt/sbt package（由于天朝伟大的防火墙，大陆地区是无法成功的，除非你可以顺利FQ），不想爬墙的可以下载预编译... 阅读全文
摘要：
standlone模式集群参考: http://www.cnblogs.com/xiaoxiao5ya/p/b35e6798b7d9d202d1f7128d324ecf4c.htmlspark源码编译参考：http://www.cnblogs.com/xiaoxiao5ya/p/9f8552ed94... 阅读全文
摘要：
一，安装idea及scala插件1，启动idea2，选择IDEA UITheme3，安装IDEA4，启动IDEA5，安装scala插件6，重启IDEA,二：导入spark源码加入JDK SDK导入spark源码：三，IDEA基本配置设置四：创建SCALA项目设置scala的sdk创建scala项目：增加spark的jar包五：IDEA打包spark application第一个spar... 阅读全文
摘要：
yum groupinstall "Desktop"yum groupinstall "X Window System"yum groupinstall "Chinese Support"startx 安装火狐浏览器：http://www.centoscn.com/image-text/ins... 阅读全文
摘要：
记录spark的Wordcount小程序：前提：hdfs已经打开创建一个name为wc.input的文件，上传到hdfs中的/user/hadoop/spark/中，内容如上图[root@spark00 hadoop-2.6.0-cdh5.4.0]# bin/hdfs dfs -put wc.inp... 阅读全文
摘要：
前提，安装了jdk1.7，scala，hadoop单节点步骤：spark-env.sh加入：HADOOP_CONF_DIR=/root/------ 表示使用hdfs上的资源，如果需要使用本地资源，请把这一句注销2，slaves3，spark-defalts.conf-------------------------------------------... 阅读全文
摘要：
本例记录spark源码编译的过程及问题因为编译会有很多很多莫名其妙的错误，为了方便，使用hadoop的cdh版本，注意版本要和我的一致，环境：maven3.0.5 scala2.10.4 下载地址：http://www.scala-la... 阅读全文
摘要：
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html ,一，.安装hdfs1，hadoop-env.sh修改java_home2，core-site加入 fs.defaultFS hdfs://spark00:8020 ... 阅读全文
摘要：
结构：RandomWordSpout：package cn.itcast.stormdemo;import java.util.Map;import java.util.Random;import backtype.storm.spout.SpoutOutputCollector;import backtype.storm.task.TopologyContext;import backtype.... 阅读全文