文章分类 - 大数据相关 / KAFKA
KAFKA
摘要：来源于 ： https://www.freesion.com/article/5928691245/ 程序员专属的优秀博客文章阅读平台 WINDOWS下安装KAFKA集群 版本环境：zookeeper-3.4.14 kafka-2.2.0一 安装zookeeper集群1.解压完成后修改conf/zo
阅读全文
摘要：来源于： https://www.cnblogs.com/q1359720840/p/16050381.html Apache Downloads 下载zk 准备三份 每个zk都创建这两个文件夹 在每个zkData都创建myid文件，没有后缀名 内容分别写着 1 2 3 (zk3.8-1 写的1，3
阅读全文
摘要：来源于 ： https://blog.csdn.net/m0_48339508/article/details/123796821 本文以搭建三个kafka为例：目录 本文以搭建三个kafka为例： 第一步在kafka的config的文件下，找到server.properties 第二步：以se
阅读全文
摘要：来源于 https://www.cnblogs.com/FG123/p/10091478.html Kafka是一种分布式的基于发布/订阅的消息系统，它的高吞吐量、灵活的offset是其它消息系统所没有的。 Kafka发送消息主要有三种方式： 1.发送并忘记 2.同步发送 3.异步发送+回调函数 下
阅读全文
摘要：来源于 https://www.cnblogs.com/wxzhe/p/10186452.html 在上一篇文章中说明了kafka-python的API使用的理论概念，这篇文章来说明API的实际使用。 在官方文档详细列出了kafka-python的API接口https://kafka-python.
阅读全文
摘要：来源于 https://www.cnblogs.com/dennyzhangdd/p/7759875.html 目录 一、生产者 1.1.配置 1.2 发送kafka消息 二、消费者 2.1配置 2.2消费kafka消息 正文 系列目录 kafka原理和实践（一）原理：10分钟入门 kafka原理和
阅读全文
摘要：来源于 https://www.cnblogs.com/hsc13-lxy14/p/9211224.html 准备工作： 1.安装kafka+zookeeper环境 2.利用命令创建好topic 参考官网 http://kafka.apache.org/documentation/ 一XML配置文件
阅读全文
摘要：来源于 https://blog.csdn.net/wangchao_cn/article/details/104707274/ 使用DataStream来消费Kafka。 下面Schema类很重要，实现对消息的序列化和反序列化 KafkaSerializationSchema<Quotes>, K
阅读全文
摘要：来源于 https://my.oschina.net/u/3346994/blog/1859039/ 昨天在写一个java消费kafka数据的实例，明明设置auto.offset.reset为earliest，但还是不从头开始消费，官网给出的含义太抽象了。 earliest: automatical
阅读全文
摘要：来源于 https://www.cnblogs.com/jay-wu/p/10287636.html 为什么使用消息队列 其实就是问问你消息队列都有哪些使用场景，然后你项目里具体是什么场景，说说你在这个场景里用消息队列是什么？ 面试官问你这个问题，期望的一个回答是说，你们公司有个什么业务场景，这个业
阅读全文
摘要：来源于 https://www.cnblogs.com/sodawoods-blogs/p/8969774.html （1）Customer和Customer Group （1）两种常用的消息模型 队列模型（queuing）和发布-订阅模型（publish-subscribe）。 队列的处理方式是一
阅读全文
摘要：来源于 https://blog.csdn.net/qq_34796981/article/details/80777181 事件描述公司使用的是Spring Cloud工作的微服务框架。其中做了SpringBoot和kafka的结合。但是意外的是enable.auto.commit参数设置成了fa
阅读全文
摘要：来源于： https://www.cnblogs.com/smartloli/p/10963221.html 1.前言 目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以Flink和Spark为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于Kafka的
阅读全文
摘要：来源 https://blog.csdn.net/charry_a/article/details/79892107 一、背景 kafka使用版本为0.10.1.0，今天在测试kafkaConsumer的时候，代码如下 public static void main(String[] args) {
阅读全文
摘要：来源于 https://blog.csdn.net/lukabruce/article/details/100737292 背景 最近项目中使用Flink消费kafka消息，并将消费的消息存储到mysql中，看似一个很简单的需求，在网上也有很多flink消费kafka的例子，但看了一圈也没看到能解决
阅读全文
摘要：来源于： https://www.cnblogs.com/importbigdata/p/11845631.html 前言一年一度的双11又要到了，阿里的双11销量大屏可以说是一道特殊的风景线。实时大屏（real-time dashboard）正在被越来越多的企业采用，用来及时呈现关键的数据指标。并
阅读全文
摘要：来源于： https://blog.csdn.net/weixin_44575542/article/details/88594773 kafka+flink集成1.目的1.1 Flink简介Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流
阅读全文
摘要：来源于：https://blog.csdn.net/huzechen/article/details/100140768 Fliter import org.apache.flink.api.common.functions.FilterFunction;import org.apache.flin
阅读全文
摘要：来源于：https://www.cnblogs.com/lcmichelle/p/10742912.html 1. Flink、Storm、Sparkstreaming对比 Storm只支持流处理任务，数据是一条一条的源源不断地处理，而MapReduce、spark只支持批处理任务，spark-st
阅读全文
摘要：来源于： https://www.cnblogs.com/huxi2b/p/7219792.html 阅读目录 1. 目标 2. 环境准备 3. 创建Flink Streaming工程 4. 增加kafka和kafka-connector依赖 5. 启动Flink环境（本例使用local测试环境）
阅读全文
