2019年10月4日

spark调优和日常维护

摘要： 参考: 见spark PDF #spark官网参数: http://spark.apache.org/docs/2.4.3/configuration.html EMR配置: spark.executor.memory 6Gspark.driver.memory 8Gspark.driver.max 阅读全文

posted @ 2019-10-04 12:04 锋锋2019 阅读(281) 评论(0) 推荐(0) 编辑

spark原理

摘要： 参考： G:\文档\大数据\第十天_spark spark在目前的大数据体系内，已经成为主力成员，主要的应用场景包括： 实时计算 机器学习 图计算 数据挖掘 Ad-hoc 原理: RDD:使用内存--基本处理单位RDD:弹性分布式数据集 spark处理的时候,处理的是RDD数据(相当于是将 阅读全文

posted @ 2019-10-04 12:03 锋锋2019 阅读(264) 评论(0) 推荐(0) 编辑

spark部署

摘要： cloudera官网spark:https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/spark.htmlspark官网:https://spark.apache.org/documentation.htmlCDH安装spar 阅读全文

posted @ 2019-10-04 10:51 锋锋2019 阅读(1203) 评论(0) 推荐(0) 编辑

导航