摘要: Flume与Kafka在功能上具有很多的相似性。为了更好地适应生产系统地需要,可以从以下几点对两者进行考虑与比较: Kafka是一个更加通用的系统。用户可以构造不同的生产者与消费者共享不同的主题;相反,Flume主要是用于向Hadoop与HBase导入数据,因此它对HDFS/HBase具有更好的优化 阅读全文
posted @ 2017-11-08 17:15 daviddu 阅读(663) 评论(0) 推荐(0) 编辑
摘要: hadoop培训课程:HBase介绍、搭建、环境、安装部署 1、搭建环境 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou 阅读全文
posted @ 2017-11-08 15:29 daviddu 阅读(347) 评论(0) 推荐(0) 编辑
摘要: HDFS Hadoop文件分发系统 ( Hadoop Distributed File System (HDFS) )和Hadoop数据库(HBase)是大数据生态系统的关键组成部分。本文将使用两者最常被使用的实例来解释两者的不同。 随着数据量从GB (2的30次方byte) 急速增长到ZB (2的 阅读全文
posted @ 2017-11-08 10:58 daviddu 阅读(3538) 评论(0) 推荐(0) 编辑