摘要: 1.关于分区 1.HDFS用于设计存储数百万的大文件,而非数十亿的小文件,如果分区过多,会创建大量的小文件,最终会超出NameNode的处理能力。因为NameNode必须要将所有的系统文件的元数据信息保存到内存中。每个文件的元数据大小为150字节,但是会限制HDFS实例所能管理文件总数的上限。 2. 阅读全文
posted @ 2019-08-21 20:44 行走的灵魂 阅读(166) 评论(0) 推荐(0) 编辑
摘要: 一.概念 视图可以允许保存一个查询并像对待表一样对这个查询进行操作。这是一个逻辑结构,换言之,hive目前不支持物化视图。 1.使用视图降低查询复杂度 -- 创建一个视图 CREATE VIEW tb1 AS SELECT * FROM t1 JOIN t2 ON t1.id = t2.id; -- 阅读全文
posted @ 2019-08-21 19:47 行走的灵魂 阅读(277) 评论(0) 推荐(0) 编辑