随笔分类 -  Flume

Flume中的HDFS Sink配置参数说明【转】
摘要：转：http://lxw1234.com/archives/2015/10/527.htm 关键字：flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。 channel type hdfs path 写入hdfs的路 阅读全文
posted @ 2016-12-16 14:57 XGogo 阅读(764) 评论(0) 推荐(0) 编辑
使用flume将kafka数据sink到HBase【转】
摘要：1. hbase sink介绍 1.1 HbaseSink 1.2 AsyncHbaseSink 2. 配置flume 3. 运行测试flume 4. 使用RegexHbaseEventSerializer来处理些HBASE的值 5. 效率测试 1. hbase sink介绍 1.1 HbaseSi 阅读全文
posted @ 2016-12-16 11:49 XGogo 阅读(7272) 评论(2) 推荐(0) 编辑
理解FlumeNG的batchSize和transactionCapacity参数和传输事务的原理 【转】
摘要：基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。 Flume的事务处理原理： Flume在对Channel进行Put和Take操作的时候，必须要用事物包住,比如： Ch 阅读全文
posted @ 2016-12-16 11:47 XGogo 阅读(1451) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示