2019 年 12月 10 日随笔档案 - nxf_rabbit75

2019年12月10日

摘要：一、DataFrame概述在Spark SQL中，DataFrame就是它的数据抽象，对DataFrame进行转换操作。 DataFrame的推出，让Spark具备了处理大规模结构化数据的能力，不仅比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能Spark能够轻松实现从MySQL到Da 阅读全文

posted @ 2019-12-10 21:27 nxf_rabbit75 阅读(400) 评论(0) 推荐(0) 编辑

6.1 Spark SQL

摘要：一、从shark到Spark SQL Hive能够把SQL程序转换成map-reduce程序可以把Hadoop中的Hive看作是一个接口，主要起到了转换的功能，并没有实际存储数据。 Shark即Hive on Spark，为了实现与Hive兼容，Shark在HiveQL方面重用了Hive中Hive 阅读全文

posted @ 2019-12-10 20:39 nxf_rabbit75 阅读(344) 评论(0) 推荐(0) 编辑