摘要: Catalog API Spark中的DataSet和Dataframe API支持结构化分析。结构化分析的一个重要的方面就是管理元数据。这些元数据可能是一些临时元数据(比如临时表)、SQLContext上注册的UDF以及持久化的元数据(比如Hive metastore或者HCatalog)。 Sp 阅读全文
posted @ 2020-05-21 18:51 大葱拌豆腐 阅读(1414) 评论(0) 推荐(0) 编辑
摘要: 基于版本:Spark 2.2.0 把一些概念搞清楚,Spark轮廓就清晰了。 什么是Catalog,中文翻译目录,那啥叫目录呢?下面是百度百科的解释: `目录,是指书籍正文前所载的目次,是揭示和报道图书的工具。目录是记录图书的书名、著者、出版与收藏等情况,按照一定的次序编排而成,为反映馆藏、指导阅读 阅读全文
posted @ 2020-05-21 18:29 大葱拌豆腐 阅读(1245) 评论(0) 推荐(0) 编辑