hadoop namenode的工作机制 (checkpoint过程、元数据合并一个意思)
摘要：转载：1 http://www.cnblogs.com/hanyuanbo/archive/2012/07/25/2608698.html 2 http://blog.csdn.net/u010846741/article/details/52369527 Hadoop 集群中有两种节点，一种是na
阅读全文
posted @
2020-09-30 11:03
大鹏的鸿鹄之志
阅读(532)
推荐(0) 编辑
面试问题集锦
摘要：一.Hadoop 1.hdfs写流程 2.hdfs读流程 3.hdfs的体系结构 4.一个datanode 宕机,怎么一个流程恢复 5.hadoop 的 namenode 宕机,怎么解决 6.namenode对元数据的管理 7.元数据的checkpoint 8.yarn资源调度流程 9.hadoop
阅读全文
posted @
2020-09-29 15:06
大鹏的鸿鹄之志
阅读(414)
推荐(0) 编辑
数据治理
摘要：转载： https://mp.weixin.qq.com/s/owrvh4XP0Ip5gE_GXKfulQ 作为一家高度数字化和技术驱动的公司，美团非常重视数据价值的挖掘。在公司日常运行中，通过各种数据分析挖掘手段，为公司发展决策和业务开展提供数据支持。经过多年的发展，美团酒旅内部形成了一套完整的解
阅读全文
posted @
2020-09-28 11:27
大鹏的鸿鹄之志
阅读(407)
推荐(0) 编辑
hive 数据仓库面试题目集锦
摘要：内部表和外部表的区别： 未被external修饰的是内部表（managed table），被external修饰的为外部表（external table）；区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默
阅读全文
posted @
2020-09-22 07:39
大鹏的鸿鹄之志
阅读(960)
推荐(0) 编辑
面试小问题集锦
摘要：1，怎么评价数仓的好坏 2，数仓是怎么组织的？规范是什么？ 2，哪个阶段可能会发生shuffle 3，用两个key关联会有几个MR 4，数据倾斜怎么处理的？你是怎么发现的呢？ explai查看语句后，里面用的什么算法？ 5， 4，删除表发现类似死机现象有什么原因造成的 5，断层排序（实现出排序的效果
阅读全文
posted @
2020-09-12 08:31
大鹏的鸿鹄之志
阅读(68)
推荐(0) 编辑
