摘要: 链接:https://zhuanlan.zhihu.com/p/85105155 一个JOB提交到spark集群中时候,需要预准备一些环境变量这里涉及到主要三个关键词: SparkContext,SparkConf,SparkSession Spark版本历史演进中非常重要的一个节点是Spark2. 阅读全文
posted @ 2020-04-20 15:11 大葱拌豆腐 阅读(257) 评论(0) 推荐(0) 编辑
摘要: 出自:https://zhuanlan.zhihu.com/p/81033956 概述 Hadoop作为最早开源的大数据处理系统,经过多年发展为业界主流架构,并拥有一套完善的生态圈,同时作为应用在HDFS之上的数仓解决方案,通过这么多年发展,是大企业大数据平台广泛采用的方案。但是Hive由于采用的M 阅读全文
posted @ 2020-04-20 10:39 大葱拌豆腐 阅读(1281) 评论(0) 推荐(0) 编辑