摘要：1.sbt是什么对于sbt 我也是小白, 为了搞spark看了一下scala，学习scala时指定的构建工具就是sbt（因为sbt也是用scala开发的嘛），起初在我眼里就是一个maven（虽然maven我也没怎么用），后面构建2个项目之后，发现还是蛮强大的，就是学习成本有点高。哎，但是现在什么东东... 阅读全文

摘要：由于预处理的数据都存储在cassandra里面,所以想要用spark进行数据分析的话，需要读取cassandra数据，并把分析结果也一并存回到cassandra；因此需要研究一下spark如何读写cassandra。话说这个单词敲起来好累，说是spark，其实就是看你开发语言是否有对应的driver... 阅读全文

摘要：mesos集群部署参见上篇。运行在mesos上面和 spark standalone模式的区别是：1）stand alone需要自己启动spark master需要自己启动spark slaver（即工作的worker）2）运行在mesos启动mesos master启动mesos slaver启动... 阅读全文

摘要：mesos是什么呢？一个分布式调度框架，让你编写代码时面对整个集群像面对一台机器那么简单。所有的运行，资源调度都可以由它来帮你搞掂。1.mesos安装有两种方式：1）参考官网的getstart，下载源码然后进行编译http://mesos.apache.org/gettingstarted/这个就不... 阅读全文