文章分类 -  架构

Kafka VS. Flume
摘要：Flume与Kafka在功能上具有很多的相似性。为了更好地适应生产系统地需要，可以从以下几点对两者进行考虑与比较： Kafka是一个更加通用的系统。用户可以构造不同的生产者与消费者共享不同的主题；相反，Flume主要是用于向Hadoop与HBase导入数据，因此它对HDFS/HBase具有更好的优化 阅读全文
posted @ 2017-11-08 17:15 daviddu 阅读(723) 评论(0) 推荐(0)
大数据技术选型-存储
摘要：HDFS Hadoop文件分发系统 ( Hadoop Distributed File System (HDFS) )和Hadoop数据库（HBase）是大数据生态系统的关键组成部分。本文将使用两者最常被使用的实例来解释两者的不同。 随着数据量从GB (2的30次方byte) 急速增长到ZB (2的 阅读全文
posted @ 2017-11-08 10:58 daviddu 阅读(3591) 评论(0) 推荐(0)
spark、hive、impala、hbase、gbase在结构化数据方面查询原理对比(含parquet/orc)
摘要：以前也玩过spark，但这次玩，是因为spark从1.4版本后使spark sql独立出来，想必一定不赖；另外，还支持DataFrame，底层存储支持parquet，甚至orc file。 一、parquet 和 orc 对比 我专门查了查parquet 和 orc，网上很多，我只说关键的。 1、p 阅读全文
posted @ 2017-10-14 19:19 daviddu 阅读(722) 评论(0) 推荐(0)