摘要: 对于Hadoop来说,是通过在DataNode中启动Map/Reduce java进程的方式来实现分布式计算处理的,那么就从源码层简要分析一下hadoop中启动Map/Reduce任务的过程。 首先,对于Map/Reduce端启动的任务,都是通过一些参数来控制java opts的,mapr... 阅读全文
posted @ 2015-01-10 21:19 clamaa 阅读(1008) 评论(0) 推荐(0) 编辑
摘要: Hive中的外部表对于Hive中的外部表来说,因为表是外部的,Hive认为其并不拥有这份数据,删除该表并不会真正删除其中的数据,其中的表描述元信息会被删除掉。 对数据进行分区后,对于管理表,可以将其显示在hdfs目录中,但是外部表目录中不会真正存在数据,只能通过show partitions... 阅读全文
posted @ 2015-01-10 21:09 clamaa 阅读(7863) 评论(0) 推荐(0) 编辑