摘要: 【转】Spark源码系列(九)Spark SQL初体验之解析过程详解 好久没更新博客了,之前学了一些R语言和机器学习的内容,做了一些笔记,之后也会放到博客上面来给大家共享。一个月前就打算更新Spark Sql的内容了,因为一些别的事情耽误了,今天就简单写点,Spark1.2马上就要出来了,不知道变动 阅读全文
posted @ 2022-04-08 16:28 江东邮差 阅读(171) 评论(0) 推荐(0) 编辑
摘要: 原文: 1. 背景 搞了快两年OLAP平台的开发,其中sql的解析优化通过SparkSQL完成,这里简单介绍一下原理 2. Demo 假设你已经搭建了spark,hive环境,我们这边查询下hive表,代码如下: 这里主要做了三件事: 1、构建SparkSession 2、执行sql构建DataFr 阅读全文
posted @ 2022-04-08 16:19 江东邮差 阅读(210) 评论(0) 推荐(0) 编辑