随笔分类 -  Spark

摘要:1、免秘钥登录配置: 2、环境工具 2.1环境 系统 urbuntu jdk 1.7.0_79 scala 2.10.4 hadoop 2.6.0 spark 1.6.2 2.2打包工具 IDEA + sbt1.2打包工具 3.打包 3.1安装插件 需要预先安装scala插件,点击File ->Se 阅读全文
posted @ 2018-02-21 11:06 久曲健 阅读(2977) 评论(0) 推荐(0) 编辑
摘要:Spark安装 spark运行环境 spark是Scala写的,运行在jvm上,运行环境为java7+ 如果使用Python的API ,需要使用Python2.6+或者Python3.4+ Spark1.6.2 - Scala 2.10 Spark 2.0.0 - Scala 2.11 Spark下 阅读全文
posted @ 2018-02-19 18:21 久曲健 阅读(312) 评论(0) 推荐(0) 编辑
摘要:Spark简介: Spark是一个快速且通用的集群计算模型: 1、Spark是快速的:快速是指处理几T到几批数据量的时候,他的处理时间是几秒钟或几分钟,相对于hadoop的几分钟到几小时是非常快速的,通用是指Spark的应用场景比较多Spark扩展了MapReduce的计算模型Spark是基于内存计 阅读全文
posted @ 2018-02-18 21:19 久曲健 阅读(324) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示