Kafka 学习资料

https://github.com/confluentinc/confluent-kafka-dotnet

https://github.com/confluentinc/kafka-rest

https://github.com/LGouellec/kafka-streams-dotnet

Docker - 使用kafka-lenses一键搭建Kafka环境套件1（安装配置、基本用法）

2021-05-24发布：hangge阅读：292

 

通常搭建 Kafka 环境时，我们需要分别搭建 ZooKeeper 服务、Kafka 服务、Kafka 监控组件（如 Kafka Eagle、Kafka Monitor），甚至各种 kafka connector 等等，十分费时。 而使用 docker 搭建 kafka-lenses 后，便包含了所有功能，这对平时开发使用来说十分友好。

 

一、安装配置

1，基本介绍

• Lenses 是 Apache Kafka 的流式数据管理平台，它是 Kafka 的一个商用套件，它自带了Apache Kafka、Kafka Connect、Zookeeper、Confluent Schema Registry、Confluent REST Proxy 以及几个 lenses 开源的管理 ui 界面 kafka-topics-ui、schema-registry-ui、kafka-connect-ui，还包含了 30 多种 kafka connector，大大减少了我们安装部署的工作量。
• Lenses 也提供的开源版本，该开源版本同样包含超多组件，ZooKeeper 服务、Kafka 服务、Kafka 监控组件、30 多种 kafka connector 一个都不少。

 

2，下载镜像

首先我们执行如下命令拉取 Lenses 的开源版本镜像：

1	docker pull lensesio/fast-data-dev

3，启动容器

（1）接着执行如下命令启动容器：

注意：

• 192.168.60.165 改为实际宿主机器的 IP 地址，如果不这么设置，可能会导致在别的机器上访问不到 kafka。
• -v /home/kafka-lenses:/data 表示将宿主机的 /home/kafka-lenses 目录挂载至容器内 /data 目前，保证容器重启后数据能够持久化不会丢失。

1	docker run -d --name kafka-lenses -p 2181:2181 -p 3030:3030 -p 8081:8081 -p 8082:8082 -p 8083:8083 -p 9092:9092 -v /home/kafka-lenses:/data -e ADV_HOST=192.168.60.165 lensesio/fast-data-dev

（2）容器启动后，使用浏览器访问 http://ip:3030 ，即可看到下图界面则说明启动成功：

 

 

 

 

 

 

 

 

 

 

原文出自：www.hangge.com  转载请保留原文链接：https://www.hangge.com/blog/cache/detail_3089.html

 

 Kafka REST Admin API

import api spect 进去postman

 

 https://github.com/confluentinc/kafka-rest/blob/master/api/v3/openapi.yaml

 

 

 

 

Comsumer 当前offset

{{restUrl}}/clusters/:cluster_id/consumer-groups/:consumer_group_id/lags/:topic_name/partitions/:partition_id

 

 

利用Rest Api可以producer和comsumber消费数据

查看topics
浏览器访问或者curl都可以

http://192.168.11.91:8082/topics

查看集群的brokers

curl http://192.168.11.91:8082/brokers

注册consumer group

curl -X POST -H "Content-Type: application/vnd.kafka.v2+json" -H "Accept: application/vnd.kafka.v2+json" --data '{"name": "my_consumer_instance", "format": "json", "auto.offset.reset": "earliest"}' http://localhost:8082/consumers/my_test_consumer

把topic和消费者my_consumer关联起来

curl -X POST -H "Content-Type: application/vnd.kafka.v2+json" --data '{"topics":["bear"]}' http://localhost:8082/consumers/my_test_consumer/instances/my_consumer_instance/subscription

通过rest接口向bear push数据

curl -X POST -H "Content-Type: application/vnd.kafka.json.v2+json" --data '{"records":[{"value":{"name": "testUser"}}]}' "http://localhost:8082/topics/bear"

通过rest接口消费数据

curl -X GET -H "Accept: application/vnd.kafka.json.v2+json" http://localhost:8082/consumers/my_test_consumer/instances/my_consumer_instance/records

删除注册的consumer实例：

curl -X DELETE -H "Accept: application/vnd.kafka.v2+json" http://localhost:8082/consumers/my_test_consumer/instances/my_consumer_instance

转载请注明出处:使用confluent本地安装和使用kafka
原文链接：https://blog.csdn.net/zzq900503/article/details/83419245

Docker容器启动报WARNING: IPv4 forwarding is disabled. Networking will not work

2019-12-11阅读 3.6K0

 

容器启动报错

解决方法

vim /etc/sysctl.conf

或者

vi /usr/lib/sysctl.d/00-system.conf 

添加如下代码：

net.ipv4.ip_forward=1 

重启network服务

systemctl restart network  

查看是否修改成功

sysctl net.ipv4.ip_forward  

如果返回为“net.ipv4.ip_forward = 1”则表示成功了 重启容器即可。