2019年10月22日

摘要：使用CentOS6.5、python3.6、kafkaScala 2.10 - kafka_2.10-0.8.2.2.tgz (asc, md5) 一、下载kafka 下载地址 https://kafka.apache.org/downloads 里面包含zookeeper 二、安装Kafka 1、阅读全文

posted @ 2019-10-22 17:36 xibuhaohao 阅读(660) 评论(0) 推荐(0) 编辑

Kafka为什么速度那么快？该怎么回答

摘要： Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。阅读全文

posted @ 2019-10-22 14:47 xibuhaohao 阅读(290) 评论(0) 推荐(0) 编辑

数据仓库分层架构

摘要：数据层的存储一般如下： Data Source 数据源一般是业务库和埋点，当然也会有第三方购买数据等多种数据来源方式。业务库的存储一般是Mysql 和 PostgreSql。 ODS 层 ODS 的数据量一般非常大，所以大多数公司会选择存在HDFS上，即Hive或者Hbase，Hive居多。 ODS 阅读全文

posted @ 2019-10-22 11:42 xibuhaohao 阅读(1346) 评论(0) 推荐(0) 编辑

公告