2019年4月11日
Kafka - SASL认证

kafka SASL认证配置

1、找到kafka安装根目录，在config文件夹下创建kafka_server_jaas.conf，写入

?
KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin-secret"
    user_admin="admin-secret"
    user_alice="alice-secret";
};

2、在config文件夹下创建kafka_client_jaas.conf，写入

KafkaClient {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="alice"
    password="alice-secret";
};

3、打开config文件夹下server.properties，添加

?
listeners=SASL_PLAINTEXT://localhost:9092
# 使用的认证协议
security.inter.broker.protocol=SASL_PLAINTEXT
# SASL机制
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
# 完成身份验证的类
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
# 如果没有找到ACL（访问控制列表）配置，则允许任何操作。
allow.everyone.if.no.acl.found=true

4、打开config文件夹下producer.properties、consumer.properties，分别添加

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

5、打开bin\windows目录下的kafka-server-start.bat文件添加

set KAFKA_OPTS=-Djava.security.auth.login.config=file:%~dp0../../config/kafka_server_jaas.conf

6、 打开bin\windows目录下的kafka-console-producer.bat和kafka-console-consumer.bat文件分别添加

set KAFKA_OPTS=-Djava.security.auth.login.config=file:%~dp0../../config/kafka_client_jaas.conf

7、通过以上步骤基本的配置已经完成, 现在开始逐个启动

启动zookeeper：.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

启动kafka：.\bin\windows\kafka-server-start.bat .\config\server.properties

创建topic：.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

创建producer：.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test --producer.config .\config\producer.properties

创建consumer：.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning --consumer.config .\config\consumer.properties

在producer窗口下输入信息进行测试，每输入一行回车后消息马上就会出现在consumer中，表明kafka SASL已经安装测试成功

 

Confluent.Kafka使用

在producer和consumer config中添加

{ "security.protocol","SASL_PLAINTEXT" },
{ "sasl.mechanism","PLAIN" },
{ "sasl.username", "alice"},
{ "sasl.password", "alice-secret" },
//{ "debug", "security,broker,protocol" }  开启调试

 

posted @ 2019-04-11 10:28 徐新文 阅读(3091) 评论(1) 推荐(0) 编辑
kafka - Confluent.Kafka
摘要： 上个章节我们讲了kafka的环境安装（这里），现在主要来了解下Kafka使用，基于.net实现kafka的消息队列应用，本文用的是Confluent.Kafka，版本0.11.6 1、安装： 在NuGet程序包中搜索“Confluent.Kafka”下载安装即可 2、producer发送消息： 1 阅读全文
posted @ 2019-04-11 10:25 徐新文 阅读(3501) 评论(4) 推荐(2) 编辑
Kafka - 环境搭建
摘要： 一、概述 Kafka（官网地址）专为分布式高吞吐量系统而设计。 Kafka往往工作得很好，作为一个更传统的消息代理的替代品。 与其他消息传递系统相比，Kafka具有更好的吞吐量，内置分区，复制和固有的容错能力，这使得它非常适合大规模消息处理应用程序。 二、环境搭建（windows） 1、java运行 阅读全文
posted @ 2019-04-11 10:23 徐新文 阅读(886) 评论(0) 推荐(0) 编辑
2013年12月20日
归并排序
摘要： 归并排序（Merge sort，台湾译作：合并排序）是建立在归并操作上的一种有效的排序算法。该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。算法描述申请空间，使其大小为两个已经排序序列之和，该空间用来存放合并后的序列设定两个指针，最初位置分别为两个已经排序序列的起始位置比较两个指针所指向的元素，选择相对小的元素放入到合并空间，并移动指针到下一位置重复步骤3直到某一指针达到序列尾将另一序列剩下的所有元素直接复制到合并序列尾代码描述 1 List Sort(List lst) 2 { 3 int count =... 阅读全文
posted @ 2013-12-20 17:32 徐新文 阅读(198) 评论(0) 推荐(0) 编辑
插入排序
摘要： 插入排序（Insertion sort）的算法描述是一种简单直观的排序算法。它的工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。算法描述从第一个元素开始，这个元素可以被认为已经排序取出下一个元素，在已经排序的元素列表中从后向前扫描如果该元素（已排序）大于新元素，将该元素移到下一个位置重复步骤3，直到找到已排序的元素小于或等于新元素的位置将新元素插入到该位置后重复步骤2~5代码描述 1 void Sort(int[] array) 2 { 3 for (int i = 1; i = 0 && te... 阅读全文
posted @ 2013-12-20 17:24 徐新文 阅读(153) 评论(0) 推荐(0) 编辑
2013年3月5日
Action Filter
摘要： 为了让用户更简单的创建一个自定义Action filter，ASP.NET MVC Framework提供了一个基类ActionFilterAttribute，这个类实现了IActionFilter和IResultFilter接口，并且继承了FilterAttribute类。从广义上来说，在ASP.NET MVC Framework中，任何实现filter的类型都是action filter。ActionFilter成员：OnActionExecuting – 在controller action执行之前调用OnActionExecuted – 在controller action执行之后调用 阅读全文
posted @ 2013-03-05 14:45 徐新文 阅读(1044) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示