随笔分类 -  Kafka

大数据平台搭建-基础环境安装
摘要：本文主要阐述基础环境的安装，主要是服务器间免密登录，java安装和scala安装,以便后续构建大数据平台。 阅读全文
posted @ 2018-07-24 16:33 aidodoo 阅读(415) 评论(0) 推荐(0) 编辑
kafka知识体系-消费者编程实践
摘要：kafka消息的拉取，消息的处理，偏移量offset的提交，多线程并发消费等。 阅读全文
posted @ 2018-07-13 14:16 aidodoo 阅读(604) 评论(0) 推荐(0) 编辑
kafka知识体系-生产者编程实践
摘要：本文总结了kafka生产者常用配置，并用多线程发送消息。 阅读全文
posted @ 2018-07-12 10:11 aidodoo 阅读(525) 评论(0) 推荐(0) 编辑
kafka知识体系-日常运维命令
摘要：本文主要讲解kafka日常运维的命令，包括topic管理、性能测试脚本。 kafka版本0.10.0，安装步骤见 "大数据平台搭建 kafka集群的搭建" 常用脚本 如下所有的命令均基于 ,服务器列表如下： 10.20.112.59 10.20.112.64 10.20.112.65 10.20.1 阅读全文
posted @ 2018-07-04 19:31 aidodoo 阅读(360) 评论(0) 推荐(0) 编辑
kafka知识体系-集群partitions/replicas默认分配解析
摘要：本系列主要讲解kafka基本设计和原理分析，分如下内容： 1. "基本概念" 2. "消息模型" 3. "kafka副本同步机制" 4. "kafka文件存储机制" 5. "kafka数据可靠性和一致性保证" 6. "kafka leader选举" 7. "kafka消息传递语义" 8. "Kafk 阅读全文
posted @ 2018-04-20 10:19 aidodoo 阅读(1147) 评论(0) 推荐(0) 编辑
kafka知识体系-消息传递语义
摘要：本系列主要讲解kafka基本设计和原理分析，分如下内容： 1. "基本概念" 2. "消息模型" 3. "kafka副本同步机制" 4. "kafka文件存储机制" 5. "kafka数据可靠性和一致性保证" 6. "kafka leader选举" 7. "kafka消息传递语义" 8. "Kafk 阅读全文
posted @ 2018-04-20 10:17 aidodoo 阅读(1613) 评论(0) 推荐(0) 编辑
kafka知识体系-kafka leader选举
摘要：本系列主要讲解kafka基本设计和原理分析，分如下内容： 1. "基本概念" 2. "消息模型" 3. "kafka副本同步机制" 4. "kafka文件存储机制" 5. "kafka数据可靠性和一致性保证" 6. "kafka leader选举" 7. "kafka消息传递语义" 8. "Kafk 阅读全文
posted @ 2018-04-20 10:12 aidodoo 阅读(2560) 评论(2) 推荐(0) 编辑
kafka知识体系-kafka数据可靠性和一致性保证
摘要：本系列主要讲解kafka基本设计和原理分析，分如下内容： 1. "基本概念" 2. "消息模型" 3. "kafka副本同步机制" 4. "kafka文件存储机制" 5. "kafka数据可靠性和一致性保证" 6. "kafka leader选举" 7. "kafka消息传递语义" 8. "Kafk 阅读全文
posted @ 2018-04-20 10:09 aidodoo 阅读(1253) 评论(0) 推荐(0) 编辑
kafka知识体系-kafka文件存储机制
摘要：本系列主要讲解kafka基本设计和原理分析，分如下内容： 1. "基本概念" 2. "消息模型" 3. "kafka副本同步机制" 4. "kafka文件存储机制" 5. "kafka数据可靠性和一致性保证" 6. "kafka leader选举" 7. "kafka消息传递语义" 8. "Kafk 阅读全文
posted @ 2018-04-20 10:07 aidodoo 阅读(1102) 评论(1) 推荐(0) 编辑
kafka知识体系-副本同步机制
摘要：本系列主要讲解kafka基本设计和原理分析，分如下内容： 1. "基本概念" 2. "消息模型" 3. "kafka副本同步机制" 4. "kafka文件存储机制" 5. "kafka数据可靠性和一致性保证" 6. "kafka leader选举" 7. "kafka消息传递语义" 8. "Kafk 阅读全文
posted @ 2018-04-18 11:34 aidodoo 阅读(5311) 评论(1) 推荐(1) 编辑
kafka知识体系-消息模型
摘要：本系列主要讲解kafka基本设计和原理分析，分如下内容： 1. "基本概念" 2. "消息模型" 3. "kafka副本同步机制" 4. "kafka文件存储机制" 5. "kafka数据可靠性和一致性保证" 6. "kafka leader选举" 7. "kafka消息传递语义" 8. "Kafk 阅读全文
posted @ 2018-04-18 11:31 aidodoo 阅读(1826) 评论(0) 推荐(0) 编辑
kafka知识体系-基本概念
摘要：本系列主要讲解kafka基本设计和原理分析，分如下内容： 1. "基本概念" 2. "消息模型" 3. "kafka副本同步机制" 4. "kafka文件存储机制" 5. "kafka数据可靠性和一致性保证" 6. "kafka leader选举" 7. "kafka消息传递语义" 8. "Kafk 阅读全文
posted @ 2018-04-18 11:27 aidodoo 阅读(1215) 评论(0) 推荐(0) 编辑
kafka知识体系总纲
摘要：最近一直在整理kafka相关资料，以构建自己的知识体系。 主要分为五大方面： Kafka设计与原理分析 Kafka配置分析 Kafka运维手册 Kafka编程开发 kafka源码分析 关于作者 爱编程、爱钻研、爱分享、爱生活 关注分布式、高并发、数据挖掘 如需捐赠，请扫码 阅读全文
posted @ 2018-04-18 11:26 aidodoo 阅读(249) 评论(0) 推荐(0) 编辑
大数据平台搭建-kafka集群的搭建
摘要：本系列文章主要阐述大数据计算平台相关框架的搭建，包括如下内容： 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集群的搭建 elasticsearch集群的搭建 alluxio集群的搭建 1.kafak简介 Kaf 阅读全文
posted @ 2017-07-11 18:11 aidodoo 阅读(1259) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示