02 2022 档案
摘要:hive分区表新增字段时,特别注意要使用cascade,这样可以让表下面各个分区都能增加新的字段。因为分区表的各个分区在hive的元数据管理中是分开的。如果不这样操作,新字段插入的数据都是NULL。 hive删除列 hive中删除列时没有与mysql语句alter table <table> dro
阅读全文
摘要:关于yarn.nodemanager.vmem-pmem-ratio的通俗解释 这个东西就是虚拟内存,扯皮起来的话,要回到上古时代x86系统,那个年代内存超级贵,于是从硬盘借用空间,模拟出一个内存空间,所以称为虚拟内存。 这里的ratio是啥意思呢?因为虚拟内存的性能比真实性能差一些,所以yarn-
阅读全文
摘要:执行count(1)或count(*)统计行数时,默认会从Hive的元数据库中查询 rowsNum 对应值作为结果返回。但是如果是使用加载数据文件load data的方式填充表数据,则hive元数据不会收集此统计信息,那么count时就会为0。 也就是说通过insert的方式写入数据的表会更新hiv
阅读全文