随笔分类 - 大数据技术栈 / Kafka
摘要：Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大，易于使用的库。用于在Kafka上构建高可分布式、拓展性，容错的应用程序。 Kafka Streams特点 1）功能强大 高扩展性，弹性，容错 2）轻量级 无需专门的集群 ；一个库，
阅读全文
摘要：1. 如何选择消息队列 几个比较常见的开源的消息队列中间件，选择消息队列产品的基本标准 首先，必须是开源的产品； 其次，这个产品必须是近年来比较流行并且有一定社区活跃度的产品，流行的产品与周边生态系统会有一个比较好的集成和兼容，比如， Kafka 和 Flink 就有比较好的兼容性，Flink 内置
阅读全文
摘要：1. 丢消息 检测消息丢失的方法 一般而言，一个新的系统刚刚上线，各方面都不太稳定，需要一个磨合期，这个时候，特别需要监控到你的系统中是否有消息丢失的情况。 如果是 IT 基础设施比较完善的公司，一般都有分布式链路追踪系统，使用类似的追踪系统可以很方便地追踪每一条消息。 可以利用消息队列的有序性来验
阅读全文
摘要：Kafka的高性能 Kafka 的性能绝对是处于第一梯队的。我曾经在一台配置比较好的服务器上，对 Kafka 做过极限的性能压测，Kafka 单个节点的极限处理能力接近每秒钟 2000 万条消息，吞吐量达到 每秒钟 600MB。你可能会问，Kafka 是如何做到这么高的性能的？ 怎么开发一个高性能的
阅读全文
摘要：1. Kafka的事务和 Exactly Once Kafka 中的事务，它解决的问题是，确保在一个事务中发送的多条消息，要么都成功，要么都失败。注意，这里面的多条消息不一定要在同一个主题和分区中，可以是发往多个主题和 分区的消息。Kafka 的这种事务机制，单独来使用的场景不多。更多的情况下被用来
阅读全文
摘要：ctrl+Hnew 它的实现类ctrl+r替换格式化ctrl+alt+l ctrl+fctrl+alt+v 替换 < " < < > > Kafka生产者Java API 创建生产者 不带回调函数的 new producer<String, String>( "主题"， 分区int， "
阅读全文
摘要：1.kafka Manager 1.上传压缩包kafka-manager-1.3.3.15.zip到集群 2.解压到/opt/module 3.修改配置文件conf/application.conf kafka-manager.zkhosts="kafka-manager-zookeeper:218
阅读全文
摘要：1. 概述 数据层：结构化数据+非结构化数据+日志信息（大部分为结构化） 传输层： flume（采集日志 >存储性框架（如HDFS、kafka、Hive、Hbase））+ sqoop（关系型数据性数据库里数据 >hadoop）+ kafka（将实时日志在线 >sparkstream在数据进行实时处理
阅读全文