随笔分类 -  Spark

Docker 搭建Spark 依赖singularities/spark:2.2镜像
摘要：singularities/spark:2.2版本中 Hadoop版本：2.8.2 Spark版本: 2.2.1 Scala版本：2.11.8 Java版本：1.8.0_151 拉取镜像： 查看： 创建docker-compose.yml文件 内容： 执行docker-compose up即可启动一 阅读全文
posted @ 2018-08-14 16:28 hongdada 阅读(4485) 评论(1) 推荐(0) 编辑
Docker 搭建Spark 依赖sequenceiq/spark:1.6镜像
摘要：使用Docker-Hub中Spark排行最高的sequenceiq/spark:1.6.0。 操作： 拉取镜像： 启动容器： 进入容器内部： Spark: YARN-client（单机）模式 在YARN-client模式中，驱动程序在客户机进程中运行，应用程序master仅用于请求来自yarn的资源 阅读全文
posted @ 2018-08-13 21:18 hongdada 阅读(2049) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示