摘要: HBase是什么? Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Apache Hbase 是hadoop数据库,一个分布式的,可扩展的大数据存储。 Use Apache HBase™ w 阅读全文
posted @ 2019-05-15 15:48 lilixia 阅读(382) 评论(0) 推荐(0) 编辑
摘要: [root@linux05 conf]# vim replicate.conf //将下面数据放入 a1.sources = r1a1.channels = c1 c2a1.sinks = k1 k2 # Describe/configure the sourcea1.sources.r1.type 阅读全文
posted @ 2019-05-15 11:10 lilixia 阅读(422) 评论(0) 推荐(0) 编辑
摘要: 1. Flume介绍 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方, 用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 1.2.1 日志收集 Flume最早是 阅读全文
posted @ 2019-05-15 07:48 lilixia 阅读(482) 评论(0) 推荐(0) 编辑
摘要: //之前一直用的是memory缓存 channels通道类型为文件形式 [root@linux05 conf]# vim filechannel.conf [root@linux05 conf]# flume-ng agent -c . -f filechannel.conf -n a1 -Dflu 阅读全文
posted @ 2019-05-15 07:47 lilixia 阅读(685) 评论(0) 推荐(0) 编辑
摘要: [root@linux05 conf]# vim hdfssink.conf //从缓存拿出来 直接到hdfs 中 ****************************************** a1.sources=r1a1.channels=c1a1.sinks=k1 a1.sources 阅读全文
posted @ 2019-05-15 07:47 lilixia 阅读(880) 评论(0) 推荐(0) 编辑