随笔分类 - kafka

kafka channel的parseAsFlumeEvent解析event

摘要：kafka channel的parseAsFlumeEvent解析event Kafka Channel的parseAsFlumeEvent的默认值为true，即会为对source来的数据进行解析，解析完会对数据前加前缀，前缀为topic名，因此这种情况，下游会需要做额外的截取工作，所以，当不需要前缀名时，将该属性设置为false. 实际中使用kafkachannel, 使用header中时间... 阅读全文

posted @ 2020-07-21 10:34 bitbitbyte 阅读(560) 评论(0) 推荐(0) 编辑

scala实现kafkaProduce1.0读取文件发送到kafka

摘要：pox.xml文件 4.0.0 org.scala-lang scala-library 2.11.8 org.apache.kafka kafka-clients 1.0.... 阅读全文

posted @ 2020-06-28 16:28 bitbitbyte 阅读(353) 评论(0) 推荐(0) 编辑

kafka中的端到端一致性(exactly-one)

摘要：端到端一致性: exactly-once传输过程要保证exactly-once, 需要内部能够实现状态保存, 当下游保存失败时, 能够更加保存的历史状态再次提交数据.而下游接受数据, 需要具备去重能力. 去重有两种方式:幂等写入, 事务写入内部: 支持checkpoint或者状态保存下一级: 数据不会被重复写入幂等写入根据key去重, 比如k-v数据库: hbase, redis事务写入能够在失败... 阅读全文

posted @ 2020-06-25 18:07 bitbitbyte 阅读(497) 评论(0) 推荐(0) 编辑

kafka重新安装

摘要：重装需要删除zookeeper与kafka所有brokers的中相关目录删除zookeeper以下与kafka相关的各个目录登陆zookeeper bin/zkCli.sh -server node01:2181,node02:2181,node03:2181 注意-server需要设置为整个集阅读全文

posted @ 2020-05-19 21:25 bitbitbyte 阅读(806) 评论(0) 推荐(0) 编辑