Solr集成kerberos认证

1. 概述

　　solr使用kerberos principal和keytab文件来认证zookeeper和solr集群。kerberos认证插件仅仅在solrcloud模式下有用。

　　当设置solr使用kerberos的时候，一个在KDC中注册认证的服务principal或者kerberos用户名的配置是需要的。这个配置定义了服务主体的名称和keytab文件的位置。solr的认证模式是用security.json这个文件，如果更改这个文件，需要重启整个solr集群。此外认证插件可以通过系统启动参数制定：-DauthenticationPlugin=org.apache.solr.security.KerberosPlugin。这个参数可以用在solrcloud或者单独模式下，在单独模式下这是唯一的方式。

1. 软件版本

　　Solr版本 8.8

　　环境：

ip	主机名	角色
192.168.1.105	node1	zookeeper、solr、kdc、kadmin、kclient
192.168.1.109	node2	zookeeper、solr、kclient
192.168.1.103	node3	zookeeper、solr、kclient

　　kdc、kadmin为kerberos的服务器节点，kclient为kerberos的客户端节点

2. solr集成kerberos

2.1. 添加solr用户

　　在kdc中为solr添加主体并生成用于验证HTTP请求的keytab文件，为每个要运行solr的主机创建一个keytab文件，并将主体名称与主机一起使用：

root@kdc:/# kadmin.local
kadmin.local: addprinc -randkey HTTP/<hostname>@EXAMPLE.COM
kadmin.local: ktadd -k /tmp/solr.keytab HTTP/<hostname>@EXAMPLE.COM
kadmin.local: quit

　　注：

　　　　addprinc -randkey HTTP/\${HOST1}@EXAMPLE.COM，将${HOST1}替换为实际的主机名。

　　　　上述操作需要每个solr节点都重复一遍，为每台solr节点创建kerberos HTTP用户主体，并生成/tmp/solr.keytab文件，最后复制到solr节点的/keytabs/solr.keytab路径。

　　如上，solr节点分布在三台机器上，则需要执行如下命令添加：

root@kdc:/# kadmin.local
kadmin.local: addprinc -randkey HTTP/node1@EXAMPLE.COM
kadmin.local: ktadd -k /tmp/node1.keytab HTTP/node1@EXAMPLE.COM

kadmin.local: addprinc -randkey HTTP/node2@EXAMPLE.COM
kadmin.local: ktadd -k /tmp/node2.keytab HTTP/node2@EXAMPLE.COM

kadmin.local: addprinc -randkey HTTP/node3@EXAMPLE.COM
kadmin.local: ktadd -k /tmp/node3.keytab HTTP/node3@EXAMPLE.COM

　　需要把node1.keytab、node2.keytab，node3.keytab分别放置在各自节点的/keytabs/路径下，并重命名为solr.keytab

2.2. zookeeper配置（如果已配置kerberos则跳过）

　　zookeeper管理solrcloud集群中的节点通信，它必须要与集群各节点中认证。配置要求为zookeeper设置服务principal，定义JAAS配置文件。

　　第一步是在zookeeper的conf目录创建java.env文件，并且添加如下内容：

export JVMFLAGS="-Djava.security.auth.login.config=/etc/zookeeper/conf/jaas-client.conf"

　　在kdc为zookeeper创建用户主体并生成keytab文件，如下：

[root@node1 conf]# kadmin.local
kadmin.local:  addprinc -randkey zookeeper/node1@EXAMPLE.COM
kadmin.local:  addprinc -randkey zookeeper/node2@EXAMPLE.COM
kadmin.local:  addprinc -randkey zookeeper/node3@EXAMPLE.COM
kadmin.local:  ktadd -k /keytabs/zoo105.keytab zookeeper/node1@EXAMPLE.COM
kadmin.local:  ktadd -k /keytabs/zoo109.keytab zookeeper/node2@EXAMPLE.COM
kadmin.local:  ktadd -k /keytabs/zoo103.keytab zookeeper/node3@EXAMPLE.COM

　　把生成的zoo105.keytab、zoo109.keytab、zoo103.keytab分别放置105、109、103服务器的同一路径/keytabs下，并重名为zoo.keytab

　　JAAS配置文件应该包含下面的参数，确保改变principal和keytab的路径。jaas-client.conf配置内容如下：

Server {
 com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  keyTab="/keytabs/zkhost1.keytab"
  storeKey=true
  doNotPrompt=true
  useTicketCache=false
  debug=true
  principal="zookeeper/host1@EXAMPLE.COM";
};

　　最后，在zookeeper配置文件zoo.cfg添加如下内容：

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
jaasLoginRenew=3600000

　　启动zookeeper，如下：

bin/zkServer.sh start

2.3. 创建security.json

　　在solrcloud模式中，设置solr通过上传security.json到zookeeper来使用kerberos插件

server/scripts/cloud-scripts/zkcli.sh -zkhost node1:2181,node2:2181,node3:2181 -cmd put /solr/security.json '{"authentication":{"class":"org.apache.solr.security.KerberosPlugin"}}'

　　如果你使用solr的standalone模式，需要创建security.json文件，然后放置在$SOLR_HOME目录下方。

　　注：

　　　　/solr/security.json这里的/solr为solr在zookeeper的chroot路径，放错路径，solr的kerberos认证不生效。可以查看2.6节点的solr启动命令会带有

bin/solr -c -z node1:2181,node2:2181,node3:2181/solr

　　zookeeper后面会带有/solr路径，即是solr在zookeeper的根路径。

2.4. 创建jaas文件

　　JAAS配置文件定义认证属性使用，例如服务principal和keytab路径。在下面的例子中，我们创建JAAS配置文件/home/foo/jaas-client.conf。当我们启动solr的时候，我们将会使用该名字和路径。确保使用正确principal和keytab文件路径。

Client {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="/keytabs/solr.keytab"
    storeKey=true
    useTicketCache=true
    debug=true
    principal="HTTP/${hostname}@EXAMPLE.COM";
};

　　注：

　　每个solr节点都需要执行这一步，${hostname}为对应solr节点的主机名。principal="HTTP/${hostname}@EXAMPLE.COM"后面需要加分号，不然会报错

2.5. 在solr.in.sh中添加以下内容

　　当启动solr的时候，需要配置solr的start命令中属性参数，示例如下：

SOLR_AUTH_TYPE="kerberos"
SOLR_JAAS_FILE=/home/redpeak/app/ranger-solr-8.3.0-cloud/ranger_audit_server/conf/jaas-client.conf
SOLR_HOST=`hostname -f`
SOLR_KERB_PRINCIPAL=HTTP/node1@EXAMPLE.COM
SOLR_KERB_KEYTAB=/keytabs/solr.keytab

SOLR_AUTHENTICATION_OPTS=" -Dsun.security.krb5.debug=true -Dsolr.authentication.type=kerberos -Djava.security.auth.login.config=${SOLR_JAAS_FILE} -Dsolr.kerberos.cookie.domain=${SOLR_HOST} -Dsolr.kerberos.name.rules=DEFAULT -Dsolr.kerberos.cookie.portaware=true -Dsolr.kerberos.principal=${SOLR_KERB_PRINCIPAL} -Dsolr.kerberos.keytab=${SOLR_KERB_KEYTAB}"

　　注：

　　SOLR_KERB_PRINCIPAL=HTTP/node1@EXAMPLE.COM中的node1，每台节点不一样，需要切换。

2.6. 启动solr

bin/solr -c -z server1:2181,server2:2181,server3:2181/solr

2.7. 测试配置

　　第一步执行如下命令：

kinit user@EXAMPLE.COM

　　第二步执行如下命令，curl，会得到成功的反应：

curl --negotiate -u : "http://node1:6083/solr/"

3. solrJ的认证

3.1. 基础配置

 　　在solrJ应用中使用kerberos认证，需要在创建solr客户端之前执行下面两步：

System.setProperty("java.security.auth.login.config", "/home/foo/jaas-client.conf");
HttpClientUtil.setConfigurer(new Krb5HttpClientConfigurer());

　　你需要为JAAS客户端配置jaas-client.conf指定kerberos服务principal和keytab，如下：

SolrJClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="/keytabs/foo.keytab"
    storeKey=true
    useTicketCache=true
    debug=true
    principal="foo@EXAMPLE.COM";
};

　　注：　　

　　　　principal="foo@EXAMPLE.COM"后面需要加分号。

3.2. solr.5.5版本demo

3.2.1. pom.xml配置 

        <dependency>
            <groupId>org.apache.solr</groupId>
            <artifactId>solr-solrj</artifactId>
            <version>5.5.4</version>
        </dependency>

        <dependency>
            <groupId>commons-codec</groupId>
            <artifactId>commons-codec</artifactId>
            <version>1.9</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.30</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.30</version>
        </dependency>

　　注意：

　　　　低版本的solrJ需要配置slf4j日志jar包，否则会莫名报错，如下：

　　　　org.apache.solr.common.SolrException: java.util.concurrent.TimeoutException: Could not connect to ZooKeeper host1:2181,host2:2181,host3:2181/infra-solr within 10000 ms

3.2.2. java代码 

import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.impl.*;
import org.apache.solr.client.solrj.response.QueryResponse;

public class solrTest {
    public static void main(String[] args) {
        try {
            //System.setProperty("java.security.krb5.conf", "/etc/krb5.conf");
            System.setProperty("java.security.krb5.conf", "D:\\krb5.conf");

            System.setProperty("javax.security.auth.useSubjectCredsOnly", "false");
            System.setProperty("sun.security.krb5.debug", "true");

            //System.setProperty("java.security.auth.login.config", "/home/redpeak/ranger_solr_jaas_test.conf");
            System.setProperty("java.security.auth.login.config", "D:\\ranger_solr_jaas_test.conf");


            Krb5HttpClientConfigurer krb5 = new Krb5HttpClientConfigurer();
            HttpClientUtil.setConfigurer(krb5);
            System.out.println(HttpClientUtil.getConfigurer().toString());

            /**
             * the first method:  用于集群solrCloud模式，通过zookeeper访问，
             * 注意：当solr开启kerberos后，不能直接通过ip访问zookeeper，会报错401没有认证，需要改为hostname，并在hosts里面配置ip和hostname映射关系
             */
            //CloudSolrClient solrCloudClient = new CloudSolrClient("192.168.1.165:2181,192.168.1.166:2181,192.168.1.167:2181/infra-solr");
            CloudSolrClient solrCloudClient = new CloudSolrClient("host1:2181,host2:2181,host3:2181/infra-solr");
            solrCloudClient.setDefaultCollection("ranger_audits");
            solrCloudClient.setZkClientTimeout(10000);
            solrCloudClient.setZkClientTimeout(20000);
            solrCloudClient.connect();
            SolrQuery params = new SolrQuery("*:*");
            QueryResponse qr = solrCloudClient.query(params);
            System.out.println(qr.getResults());

            /**
             * the second method:  用于standalone模式或者集群solrCloud模式，通过http访问
             * 注意：当solr开启kerberos后，不能直接通过ip访问web ui，会报错zookeeper连接超时，需要改为hostname，并在hosts里面配置ip和hostname映射关系
             */
            //String solrURL = "http://192.168.1.165:8886/solr/ranger_audits";
            String solrURL = "http://host1:8886/solr/ranger_audits";
            HttpSolrClient solrClient = new HttpSolrClient(solrURL);
            solrClient.setAllowCompression(true);
            solrClient.setConnectionTimeout(1000);
            solrClient.setRequestWriter(new BinaryRequestWriter());
            SolrQuery params2 = new SolrQuery("*:*");
            QueryResponse qr2 = solrClient.query(params2);
            System.out.println(qr2.getResults());

        } catch (Exception e) {
            System.out.println(e);
        }
    }
}

　　注意：

　　　　无论是CloudSolrClient还是HttpSolrClient，当solr开启kerberos后，不能直接通过ip访问，只能通过hostname访问，并在hosts里面配置ip和hostname映射关系。

3.3. solr.7.7.0版本demo

3.3.1. pom.xml配置 

        <dependency>
            <groupId>org.apache.solr</groupId>
            <artifactId>solr-solrj</artifactId>
            <version>7.7.0</version>
        </dependency>
        <dependency>
            <groupId>commons-codec</groupId>
            <artifactId>commons-codec</artifactId>
            <version>1.9</version>
        </dependency>

3.3.2. java代码 

import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.solr.client.solrj.SolrClient;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.impl.*;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.params.ModifiableSolrParams;

public class solrTest2 {
    public static void main(String[] args) {
        try {
            //System.setProperty("java.security.krb5.conf", "/etc/krb5.conf");
            System.setProperty("java.security.krb5.conf", "D:\\krb5.conf");
            
            System.setProperty("javax.security.auth.useSubjectCredsOnly", "false");
            System.setProperty("sun.security.krb5.debug", "true");
            
            //System.setProperty("java.security.auth.login.config", "/home/redpeak/ranger_solr_jaas_test.conf");
            System.setProperty("java.security.auth.login.config", "D:\\ranger_solr_jaas_test.conf");

            /**
             * 用于standalone模式或者集群solrCloud模式，通过http访问
             * 注意：当solr开启kerberos后，不能直接通过ip访问web ui，会报错401没有认证，需要改为hostname，并在hosts里面配置ip和hostname映射关系
             */
            //HttpSolrClient.Builder solrClientBuilder = new HttpSolrClient.Builder("http://192.168.1.165:8886/solr/ranger_audits");
            HttpSolrClient.Builder solrClientBuilder = new HttpSolrClient.Builder("http://host1:8886/solr/ranger_audits");
            SolrHttpClientBuilder solrHttpClientBuilder = new Krb5HttpClientBuilder().getHttpClientBuilder(java.util.Optional.empty());
            HttpClientUtil.setHttpClientBuilder(solrHttpClientBuilder);

            ModifiableSolrParams params = new ModifiableSolrParams();
            params.set(HttpClientUtil.PROP_FOLLOW_REDIRECTS, false);

            CloseableHttpClient httpClient = HttpClientUtil.createClient(params);
            SolrClient client = solrClientBuilder.withHttpClient(httpClient).build();

            SolrQuery params2 = new SolrQuery("*:*");
            QueryResponse qr = client.query(params2);

            System.out.println(qr.getResults());
        } catch (Exception e) {
            System.out.println(e);
        }
    }
}

　　注意：

　　　　当solr开启kerberos后，不能直接通过ip访问，只能通过hostname访问，并在hosts里面配置ip和hostname映射关系。

4. 参考资料

https://solr.apache.org/guide/8_8/kerberos-authentication-plugin.html