05 2014 档案

摘要:1.大数据在HBASE存储、计算以及查询的应用场景海量数据都是事务数据,事务数据都是在时间的基础上产生的。数据的业务时间可能会顺序产生,也可能不会顺序产生,比如某些事务发生在早上10点,但是在下午5点才结束闭并生成出来,这样的数据就会造成存储加载时的时间连续性。另外海量数据的挖掘后产生的是统计数据,... 阅读全文
posted @ 2014-05-08 16:22 手足无措 阅读(1252) 评论(0) 推荐(0) 编辑
摘要:hbase shell基础和常用命令详解HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduc... 阅读全文
posted @ 2014-05-06 15:11 手足无措 阅读(221) 评论(0) 推荐(0) 编辑
摘要:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库... 阅读全文
posted @ 2014-05-06 10:43 手足无措 阅读(298) 评论(0) 推荐(0) 编辑
摘要:首先 hadoop 和hbase版本需要对应,不然很多未知问题的 对应表如下Table2.1.Hadoop version support matrixHBase-0.92.xHBase-0.94.xHBase-0.96.0Hadoop-0.20.205SXXHadoop-0.22.xSXXHado... 阅读全文
posted @ 2014-05-05 13:07 手足无措 阅读(388) 评论(0) 推荐(0) 编辑