ranger 使用外置的solr

一、solrcloud部署

1、下载部署

1)、下载二进制包

#wget http://mirrors.tuna.tsinghua.edu.cn/apache/lucene/solr/8.3.0/solr-8.3.0-src.tgz   #下载最新版

2)、解压

#tar zxvf solr-8.3.0.tgz -C /data1/hadoop/
#mv solr-8.3.0 solr

3)、配置环境变量

修改当前用户下的bashrc文件 ~/.bashrc， 添加如下配置：

export SOLR_HOME=/data1/hadoop/solr
export PATH=${SOLR_HOME}/bin:$PATH

使用source 让配置生效

#source ~/.bashrc

注：solrcloud依赖于zookeeper，在部署solrcloud时，需要安装zookeeper。

2、修改配置

1)、修改/data1/hadoop/solr/bin/solr.in.sh文件

修改属性如下：

SOLR_JAVA_HOME="/data1/jdk"  #jdk

SOLR_HEAP="5g"   #堆内存，建议2g以上

ZK_HOST="rslog084:2181,rslog085:2181,rslog086:2181/solr"  #zookeeper地址

SOLR_HOST="xxx"   #solr主机地址，由于是集群模式，这里的地址为当前机器的主机名或者ip，所以拷贝到其他节点时，这个值需要修改

SOLR_HOME=/data1/hadoop/solr/ranger_audit_server   #solr家目录，用于存放数据，索引的跟路径

SOLR_DATA_HOME=/data1/hadoop/solr/ranger_audit_server/data  #数据目录

SOLR_LOGS_DIR=/data1/hadoop/solr/ranger_audit_server/logs #数据目录

SOLR_PORT=4051  #端口，默认是8983

注：上述的目录需要自己手动创建

2)、拷贝配置

上述配置修改完以后，把整个solr目录拷贝到其他节点

示例
#scp -r /data1/hadoop/solr   远程主机:/data1/hadoop
记得修改SOLR_HOST的值

3)、在zookeeper生成跟路径

#solr zk mkroot /solr -z rslog084:2181

用于集合碎片共享配置集

3、启动solr

在每一台节点都需要启动，执行如下命令：

#solr start 

4、创建集合

#solr create -c ranger_audits -d /data1/hadoop/ranger/ranger-admin/contrib/solr_for_audit_setup/conf/ -s 3 -rf 3
上述参数解析：
create: 创建集合或者core
-c 指定集合名称
-d 指定server目录，该目录为ranger admin的conf目录，该目录存放着配置集
-s 指定碎片数量
-rf 指定副本数量

5、web界面查

web界面查看创建的数据集

 

 二、ranger admin 配置

主要是修改install.properties文件，主要修改的属性如下：

SQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java.jar

db_root_user=root
db_root_password=xxx
db_host=rslog84
db_name=ranger
db_user=root
db_password=xxx

audit_store=solr

audit_solr_urls=http://xxx:4051/solr/ranger_audits
audit_solr_user=solr
audit_solr_zookeepers=rslog084:2181,rslog085:2181,rslog086:2181/solr

audit_solr_collection_name=ranger_audits
audit_solr_config_name=ranger_audits
audit_solr_no_shards=3
audit_solr_no_replica=3

policymgr_external_url=http://xxx:4052
#以下是配置kerberos，如果没有集成kerberos，不需要配置下面的信息
spnego_principal=HTTP/rslog084@HADOOP.COM
spnego_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
token_valid=30
cookie_domain=rslog084
admin_principal=ranger/rslog084@HADOOP.COM
admin_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
lookup_principal=ranger/rslog084@HADOOP.COM
lookup_keytab=/data1/hadoop/ranger/ranger-admin/ranger.keytab
hadoop_conf=/data1/hadoop/hadoop/etc/hadoop/conf

 

上述配置完以后，需要使用setup.sh重新初始化ranger admin

访问ranger的admin 界面，

 

 如果报错，报错信息可能如下：

Error running solr query, please check solr configs. Error from server at http://xxxx:4051/solr/ranger_audits: sort param field can't be found: evtTime

出现这种：基本就是配置文件，或者创建集合指定配置集有问题如。