随笔分类 -  spark

摘要:各位工程师累了吗? 推荐一篇可以让你技术能力达到出神入化的网站 ""宅男门诊"" 1. 准备工作 首先你的系统中需要安装了 JDK 1.6+,并且安装了 Scala。之后下载最新版的 IntelliJ IDEA 后,首先安装(第一次打开会推荐你安装)Scala 插件,相关方法就不多说了。至此,你的系 阅读全文
posted @ 2016-06-29 18:37 农民阿姨 阅读(5892) 评论(0) 推荐(0) 编辑
摘要:Scala中TypeTags和Manifests的用法 阅读全文
posted @ 2016-04-21 11:29 农民阿姨 阅读(276) 评论(0) 推荐(0) 编辑
摘要:最近项目中需要用到sparksql ,需要查询sql Date类型, 无奈,官方现阶段 1.6.0 还不支持Date类型,不过支持Timestamp类型,所以问题可以解决了。 1.解析 SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); Date beginDate = null; Date end... 阅读全文
posted @ 2016-01-25 22:42 农民阿姨 阅读(4863) 评论(0) 推荐(0) 编辑
摘要:1. socket消息发送 import java.net.ServerSocket import java.io.PrintWriter import scala.collection.mutable.ListBuffer import java.util.Random /** * Created by zzy on 8/28/15. */ /** * 模拟socket消息发送 ... 阅读全文
posted @ 2015-08-28 22:11 农民阿姨 阅读(250) 评论(0) 推荐(0) 编辑
摘要:1.spark on yarn import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ /** * Created by zzy on 8/27/15. */ object SaprkOnYarn { def main(args: Array[String]) { if(args.... 阅读全文
posted @ 2015-08-28 00:10 农民阿姨 阅读(369) 评论(0) 推荐(0) 编辑
摘要:Spark之命令 1.spark运行模式有4种: a.local 多有用测试, b. standalone:spark 集群模式,使用spark自己的调度方式。 c. Yarn: 对MapreduceV1升级的经典版本,支持spark。 d.Mesos:类似Yarn的资源调度框架,提供了有效的、跨分布式应用或框架的资源隔离和共享,可以运行hadoop、spark等框架 2.spark loc... 阅读全文
posted @ 2015-08-26 21:39 农民阿姨 阅读(1253) 评论(0) 推荐(0) 编辑
摘要:注意,这种安装方式是集群方式:然后有常用两种运行模式: standalone , on yarn区别就是在编写 standalone 与 onyarn 的程序时的配置不一样,具体请参照spar2中的例子.提交方式:standalone spark-submit --class testkmeans.... 阅读全文
posted @ 2015-08-26 15:03 农民阿姨 阅读(385) 评论(0) 推荐(0) 编辑
摘要:一、什么是scala scala 是基于JVMde 编程语言。JAVA是运行在jvm上的编程语言,java 源代码通过jvm被编译成class 文件,然后在os上运行class 文件。scala是运行在jvm 上的编程语言,scala源代码通过jvm被编译成class文件,然后在os上运行class文件。 二语法: 1.声明值和变量 var a =12 // 定义变量 vary val b... 阅读全文
posted @ 2015-08-25 16:16 农民阿姨 阅读(319) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示