2019 年 10月 31 日随笔档案 - nxf_rabbit75

2019年10月31日

摘要：一、安装Spark spark和Hadoop可以部署在一起，相互协作，由Hadoop的HDFS、HBase等组件复制数据的存储和管理，由Spark负责数据的计算。 Linux：CentOS Linux release 7.6.1810(Core)（cat /etc/centos-release 查看阅读全文

posted @ 2019-10-31 20:37 nxf_rabbit75 阅读(1050) 评论(0) 推荐(0) 编辑

3.3 Spark的部署和应用方式

摘要：一、Spark的部署 1.单机Local 2.集群（1）Standalonc Spark自带的资源管理器，效率不高（2）YARN 如果部署的是Hadoop集群，可以用YARN资源调度（3）Mesos Spark和Mesos是相互优化的，它们之间性能匹配得非常好。二、Spark的应用方式 Sp 阅读全文

posted @ 2019-10-31 20:30 nxf_rabbit75 阅读(269) 评论(0) 推荐(0) 编辑