摘要: 转自:http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3114180.html我最近研究了hive的相关技术,有点心得,这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性: 1.hive是... 阅读全文
posted @ 2016-01-08 01:45 五三中 阅读(1246) 评论(0) 推荐(0) 编辑
摘要: 转自http://superlxw1234.iteye.com/blog/1582880一、 控制hive任务中的map数:1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M,... 阅读全文
posted @ 2016-01-08 01:43 五三中 阅读(334) 评论(0) 推荐(0) 编辑
摘要: 转自http://blog.csdn.net/lifuxiangcaohui/article/details/40262021对Hive的基本组成进行了总结:1、组件:元存储(Metastore )-存储“系统目录以及关于表、列、分区等的元数据”的组件。驱动(Driver )- 控制 HiveQL ... 阅读全文
posted @ 2016-01-08 01:39 五三中 阅读(657) 评论(0) 推荐(0) 编辑
摘要: 转自http://blog.csdn.net/lifuxiangcaohui/article/details/40621067hbase所谓的三维有序存储的三维是指:rowkey(行主键),column key(columnFamily+qualifier),timestamp(时间戳)三部分组成的... 阅读全文
posted @ 2016-01-08 01:32 五三中 阅读(643) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/lifuxiangcaohui/article/details/40615843 阅读全文
posted @ 2016-01-08 01:31 五三中 阅读(169) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/baimafujinji/article/details/50467970前面我曾经发帖推荐过网上的一些做“图像处理和计算机视觉的”有料博客资源,原帖地址图像处理与机器视觉网络资源收罗——倾心大放送http://blog.csdn.net/baimaf... 阅读全文
posted @ 2016-01-08 00:42 五三中 阅读(331) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/bluishglc/article/details/9380087我们知道hadoop将数据给到map进行处理前会使用InputFormat对数据进行两方面的预处理:对输入数据进行切分,生成一组split,一个split会分发给一个mapper进行处理... 阅读全文
posted @ 2016-01-08 00:27 五三中 阅读(738) 评论(0) 推荐(0) 编辑