11 2020 档案

spark集群管理器

摘要：Local模式 Standalone模式（使用Spark自带的内置集群管理器） YARN模式（使用YARN作为集群管理器） Mesos模式（使用Mesos作为集群管理器） spark-shell --master <master-url> 单机 local 使用一个Worker线程本地化运行SPAR 阅读全文

posted @ 2020-11-27 16:18 jason47 阅读(154) 评论(0) 推荐(0) 编辑

spark安装

摘要：两种方式一、与程序集成 1.1与spring boot集成可以根据需要添加依赖，都会自动添加spark-core  <dependency> <groupId>org.apache.spark</groupId> 阅读全文

posted @ 2020-11-25 17:12 jason47 阅读(356) 评论(0) 推荐(0) 编辑

spark版本

摘要：spark的版本如下 1. 版本历史中的下载文件 SparkR是R语言的版本 spark-bin-hadoop 包含hadoop；包含默认的scala版本（spark基于scala，scala基于jvm） spark-bin-without-hadoop 不包含hadoop，需要用户自己单独安装ha 阅读全文

posted @ 2020-11-18 16:35 jason47 阅读(1243) 评论(0) 推荐(0) 编辑