使用ranger对kafka进行鉴权
使用ranger对kafka进行鉴权
测试环境：ranger-kafka-plugin为0.6.3版本，kafka版本为kafka_2.10-0.10.1.1，且kafka broker为一个节点。
一、Ranger对kafka进行权限控制，前提需要kafka开启kerberos认证（注意：若kafka不开启kerberos的话Ranger无法获取kafka相关操作的用户，进而无法完成鉴权操作）
二、开启kerberos认证
包括zookeeper开启kerberos认证，kafka开启zookeeper认证。
1、安装配置Kerberos Server
（1）安装server：
yum install krb5-libs krb5-server krb5-workstation
具体配置略.
（2）安装client：yum install krb5-libs krb5-workstation
2、开启zookeeper kerberos认证
由于kafka依赖zookeeper，所以zookeeper也需要开启kerberos认证，这部分内容可参考zookeeper官网进行配置。
3、开启kafka kerberos认证
（1） 编辑kafka_server_jaas.conf文件：内容如下：
KafkaServer {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab=”/etc/security/keytabs/kafka.keytab”
storeKey=true
useTicketCache=false
serviceName=”kafka”
principal=”kafka/xhhdev@HHKDC”;
};
KafkaClient {
com.sun.security.auth.module.Krb5LoginModule required
useTicketCache=true
renewTicket=true
serviceName=”kafka”;
};
Client {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=false
useTicketCache=true;
};
（2）加入jvm参数
-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/usr/local/soft/kafka/config/kafka_server_jaas.conf”
在下面脚本中加入：
vim kafka-run-class.sh
if [ -z “$KAFKA_JVM_PERFORMANCE_OPTS” ]; then
KAFKA_JVM_PERFORMANCE_OPTS=”-server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+DisableExplicitGC -Djava.awt.headless=true -Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/usr/local/soft/kafka/config/kafka_server_jaas.conf”
fi
（3）server.properties中加入如下配置
listeners=SASL_PLAINTEXT://xhhdev:6667
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
sasl.enabled.mechanisms=GSSAPI
sasl.kerberos.service.name=kafka
（4）创建文件producer.properties 及consumer.properties 且加入如下配置：
security.protocol=SASL_PLAINTEXT
sasl.mechanism=GSSAPI
sasl.kerberos.service.name=kafka
三、安装ranger-kafka-plugin
1、解压包：tar –zxvf ranger-0.6.3-kafka-plugin.tar.gz
2、修改install.properties文件
POLICY_MGR_URL=http://xhhtest:6080 （Ranger-admin 访问地址）
REPOSITORY_NAME=kafkadev （服务名称）
XAAUDIT.DB.IS_ENABLED=true
XAAUDIT.DB.FLAVOUR=MYSQL
XAAUDIT.DB.HOSTNAME= xhhtest
XAAUDIT.DB.DATABASE_NAME=ranger_audit
XAAUDIT.DB.USER_NAME=root
XAAUDIT.DB.PASSWORD=123456
3、添加软连接
假设kafka_2.10-0.10.1.1安装目录为：/usr/local/soft/kafka/
ranger-0.6.3-kafka-plugin 安装目录为：/usr/local/ranger-0.6.3-kafka-plugin
则执行：
ln -s /usr/local/soft/kafka/conf/ /usr/local/kafka
ln -s /usr/local/soft/kafka/lib/ /usr/local/kafka
4、执行 ./enable-kafka-plugin.sh
之所以执行软连接，是因为执行此脚本时需要知道kafka_2.10-0.10.1.1的conf 和lib所在位置。
5、重启kafka服务
四、鉴权测试
1、在ranger-admin界面添加kafka service （name为kafkadev）
2、查看插件是否成功，audit->plugins显示
3、测试
（1）执行kinit -kt /etc/security/keytabs/kafka.service.keytab kafka/xhhdev@HHKDC
（2）创建topic：./kafka-topics.sh –zookeeper xhhdev:2181 –create –topic topic_test –partitions 1 –replication-factor 1,此时可以创建成功。
（3）生产：切换到用户xhhtest，
执行kinit -kt /etc/security/keytabs/xhhtest.service.keytab xhhtest/xhhdev@HHKDC
./kafka-console-producer.sh –broker-list xhhdev:6667 –topic topic_test –producer.config producer.properties，此时报错如下：
WARN Error while fetching metadata with correlation id 0 : {topic_test=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)
原因是:xhhtest没有权限
（4）设置policy，增加权限，再次执行ok。
参考文献：
http://ranger.apache.org/
http://kafka.apache.org/documentation/#security_sasl
https://www.ibm.com/support/knowledgecenter/en/SSPT3X_4.2.5/com.ibm.swg.im.infosphere.biginsights.admin.doc/doc/admin_ranger_plugin_kafka.html
