摘要:
Catalog API Spark中的DataSet和Dataframe API支持结构化分析。结构化分析的一个重要的方面就是管理元数据。这些元数据可能是一些临时元数据(比如临时表)、SQLContext上注册的UDF以及持久化的元数据(比如Hive metastore或者HCatalog)。 Sp 阅读全文
摘要:
基于版本:Spark 2.2.0 把一些概念搞清楚,Spark轮廓就清晰了。 什么是Catalog,中文翻译目录,那啥叫目录呢?下面是百度百科的解释: `目录,是指书籍正文前所载的目次,是揭示和报道图书的工具。目录是记录图书的书名、著者、出版与收藏等情况,按照一定的次序编排而成,为反映馆藏、指导阅读 阅读全文