摘要: hive> load data inpath "hdfs://Master.hdp:9000/person.txt" into table Person1; FAILED: SemanticException [Error 10028]: Line 1:17 Path is not legal '" 阅读全文
posted @ 2017-08-25 14:09 卡丽熙 阅读(4415) 评论(0) 推荐(0) 编辑
摘要: 1.1. Spark SQL概述 1.1.1. 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 1.1.2. 为什么要学习Spark SQL 我们已经学习了Hive,它是将Hive 阅读全文
posted @ 2017-08-25 11:42 卡丽熙 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 1.RDD的缓存 Spark速度非常快的原因之一,就是在不同操作中可以在内存中持久化或缓存个数据集。当持久化某个RDD后,每一个节点都将把计算的分片结果保存在内存中,并在对此RDD或衍生出的RDD进行的其他动作中重用。这使得后续的动作变得更加迅速。RDD相关的持久化和缓存,是Spark最重要的特征之 阅读全文
posted @ 2017-08-25 10:56 卡丽熙 阅读(369) 评论(0) 推荐(0) 编辑