solrcloud集群部署
Zookeeper安装
Zookeeper的安装和配置十分简单, 既可以配置成单机模式, 也可以配置成集群模式. 下面将分别进行介绍.
注意防火墙和selinux，关闭后进行如下配置,由于是Java写的，solr和tomcat所在的机器要安装jdk。
安装jdk
1.先查询系统已经安装的
[root@test /]# rpm -qa|grep java
tzdata-java-2013g-1.el6.noarch
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
2.卸载
[root@test /]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
[root@test /]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
[root@test /]# rpm -e --nodeps tzdata-java-2013g-1.el6.noarch
3.解压缩
[root@test software]# tar -xzvf ./jdk-7u51-linux-x64.tar.gz
4.移动到想要放置的目录
[root@test software]# mv ./jdk1.7.0_51/ /usr/local/jdk7
5.设置环境变量
[root@test software]# vi /etc/profile
按i键，在末尾增加
export JAVA_HOME=/usr/local/jdk7
export JRE_HOME=/usr/local/jdk7/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH
然后按esc，输入:wq，保存退出。
立即生效
[root@test software]# source /etc/profile
6.查看安装
[root@test jdk7]# java -version
java version "1.7.0_51"
Java(TM) SE Runtime Environment (build 1.7.0_51-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode)
版本号
zookeeper-3.4.6.tar.gz,jdk-7u51-linux-x64.tar.gz。
单机模式
点击这里下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg:
1 tickTime=2000 2 dataDir=/data/zookeeper/data 3 dataLogDir=/data/zookeeper/logs 4 clientPort=4180
参数说明:
- tickTime: zookeeper中使用的基本时间单位, 毫秒值.
- dataDir: 数据目录. 可以是任意目录.
- dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置.
- clientPort: 监听client连接的端口号.
至此, zookeeper的单机模式已经配置好了. 启动server只需运行脚本:
1 bin/zkServer.sh start
Server启动之后, 就可以启动client连接server了, 执行脚本:
1 bin/zkCli.sh -server localhost:4180
伪集群模式
将zookeeper的目录拷贝3份:
1 |--zookeeper0 2 |--zookeeper1 3 |--zookeeper2
更改zoo_sample.cfg为zoo.cfg
1 tickTime=2000 2 initLimit=5 3 syncLimit=2 4 dataDir=/data/zookeeper/data5 dataLogDir=/data/zookeeper/logs 6 clientPort=4180 7 server.0=127.0.0.1:8880:7770 8 server.1=127.0.0.1:8881:7771 9 server.2=127.0.0.1:8882:7772
新增了几个参数, 其含义如下:
- initLimit: zookeeper集群中的包含多台server, 其中一台为leader, 集群中其余的server为follower. initLimit参数配置初始化连接时, follower和leader之间的最长心跳时间. 此时该参数设置为5, 说明时间限制为5倍tickTime, 即5*2000=10000ms=10s.
- syncLimit: 该参数配置leader和follower之间发送消息, 请求和应答的最大时间长度. 此时该参数设置为2, 说明时间限制为2倍tickTime, 即4000ms.
- server.X=A:B:C 其中X是一个数字, 表示这是第几号server. A是该server所在的IP地址. B配置该server和集群中的leader交换消息所使用的端口. C配置选举leader时所使用的端口. 由于配置的是伪集群模式, 所以各个server的B, C参数必须不同.
参照zookeeper0/conf/zoo.cfg, 配置zookeeper1/conf/zoo.cfg, 和zookeeper2/conf/zoo.cfg文件. 只需更改dataDir, dataLogDir, clientPort参数即可.
在之前设置的dataDir中新建myid文件, 写入一个数字, 该数字表示这是第几号server. 该数字必须和zoo.cfg文件中的server.X中的X一一对应.
/Users/apple/zookeeper0/data/myid文件中写入0, /Users/apple/zookeeper1/data/myid文件中写入1, /Users/apple/zookeeper2/data/myid文件中写入2.
分别进入/Users/apple/zookeeper0/bin, /Users/apple/zookeeper1/bin, /Users/apple/zookeeper2/bin三个目录, 启动server.
任意选择一个server目录, 启动客户端:
bin/zkCli.sh -server localhost:4180
集群模式
集群模式的配置和伪集群基本一致.
由于集群模式下, 各server部署在不同的机器上, 因此各server的conf/zoo.cfg文件可以完全一样.
下面是一个示例:
1 tickTime=2000 2 initLimit=5 3 syncLimit=2 4 dataDir=/data/zookeeper1/data 5 dataLogDir=/data/zookeeper1/logs 6 clientPort=4180 7 server.1=10.1.39.43:2888:3888 8 server.2=10.1.39.47:2888:3888 9 server.3=10.1.39.48:2888:3888
示例中部署了3台zookeeper server, 分别部署在10.1.39.43, 10.1.39.47, 10.1.39.48上. 需要注意的是, 在目/data/zookeeper1/data/目录下创建myid文件中的数字必须不同.
10. 1.39.43 server的myid为1, 10.1.39.47 server的myid为2, 10.1.39.48 server的myid为3.
常用命令如下：
启动 1) ./bin/zkServer.sh start 查看状态 2) ./bin/zkServer.sh status 重启 3) ./bin/zkServer.sh restart 关闭 4) ./bin/zkServer.sh stop
在其中一台用客户端链接：
./bin/zkCli.sh -server IP:端口号
查看链接日志
cat zookeeper.out(与启动命令在同一目录下)
正常启动效果如下：
1。
由于我这里是集群环境所以是Mode:leader(领导者)
2.
Mode:follower(跟随者)
3.
Mode:follower(跟随者)
集群同步配置：
/var/local/server/zookeeper/bin/zkCli.sh -server IP:2181 连接此机器客户端 create /project zookeeper_project 创建节点 get /project 查询节点 同时去其他两台机器查询，不管follower,leader,都会同步，到此集群搭建成功。
solr介绍
1.
Solr也是Apache下一个项目，它是使用java开发的，它是基于Lucene的全文搜索服务器。Solr如何进行索引和搜索索引：客户端（可以是浏览器可以是java程序）发送post请求到solr服务器，发给solr服务器一个文档（xml、json），就可以进行一个添加索引删除索引、修改索引的操作。搜索：客户端（可以是浏览器可以是java程序）发送get请求到solr服务器，请求solr服务器给它响应一个结果文档（xml、json），程序员拿到这些文档就可以对其进行解析。进行视图渲染。
solr和lucene的区别
2.
solr和lucene的区别Lucene是一个全文检索的工具包，它是一堆jar包，不能单独运行，即不能独立对外提供服务。Solr是一个全文搜索服务器，它可以独立运行，它能独立对外提供搜索和索引服务。使用lucene开发站内搜索的话，程序员编写的代码量会比较大，而且在搜索和索引流程得考虑他的性能。使用solr开发站内搜索的话，程序员只需编写少量的代码，快速的搭建出来站内搜索功能。而且性能方面不需要程序员去考虑，solr对它已经进行了处理。通常solr会结合一个web容器进行使用，他的默认是通过jetty这个容器启动，(jetty,是一个比tomcat轻量的webserver),这次我使用的是tomcat,把solr放在tomcat里进行使用。
3.
solr安装及配置
此次安装所需要的包solr-5.4.0/，apache-tomcat-6.0.45.tar.gz
1.
tar xvfz solr-5.4.0.tgz
2.复制solr-5.4.0/server/solr-webapp/webapp到tomcat下的webapps目录下，改名为solr。
cp -r /home/developer/solr5/solr-5.4.0/server/solr-webapp/webapp /home/developer/tomcat7/webapps/ mv webapp solr
3.将solr-5.4.0/server/lib/ext/目录下的所有jar包复制到tomcat/webapps/solr/WEB-INF/lib/下
cp -r /home/developer/solr5/solr-5.4.0/server/lib/ext/* /home/developer/tomcat7/webapps/solr/WEB-INF/lib/
4.将solr-5.4.0/server/solr目录复制到tomcat目录下并重命名为solr_home(存放检索数据)
cp -r /home/developer/solr5/solr-5.4.0/server/solr/ /home/developer/tomcat7/ mv solr solrhome
5.将solr-5.4.0/server/resouce下的log4j.properties文件复制到tomcat/weapps/solr/WEB-INF/classes目录下，如果没有则新建
cp /home/developer/solr5/solr-5.4.0/server/resources/log4j.properties /home/developer/tomcat7/webapps/solr/WEB-INF/classes/ 1
6.将solr-5.4.0/dist目录下的solr-dataimporthandler-5.4.0.jar和solr-dataimporthandler-extras-5.4.0.jar复制到tomcat/webapps/solr/WEB-INF/lib/下，这个是为了以后导入数据库表数据
cp /home/developer/solr5/solr-5.4.0/dist/solr-dataimporthandler-5.4.0.jar /home/developer/tomcat7/webapps/solr/WEB-INF/lib/ cp /home/developer/solr5/solr-5.4.0/dist/solr-dataimporthandler-extras-5.4.0.jar /home/developer/tomcat7/webapps/solr/WEB-INF/lib/
7.mkdir /usr/local/solr/solrhome (solrhome可以随意创建)
8.修改solrhome路径
web.xml: cd /usr/local/tomcat/webapps/solr/WEB-INF/web.xml <env-entry> <env-entry-name>solr/home</env-entry-name> <env-entry-value>/usr/local/solr/solrhome/</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry>
9.
设置solr 日志路径： 在此文件下设置log4j.properties
访问地址http://10.143.47.33:8080/solr/admin.html#/ ----solr的控制界面
10.整合solr和tomcat
11、修改solrhome下的solr.xml
12、使用zookeeper统一管理配置文件。需要把solrhome下的collection1/的conf文件夹上传至zookeeper。
执行下边的命令将/home/solr/conf下的配置文件上传到zookeeper（此命令为单条命令，虽然很长o(╯□╰)o）。此命令在solr-4.10.3/example/scripts/cloud-scripts/目录下：
|
./zkcli.sh -zkhost 192.168.25.150:2181,192.168.25.150:2182,192.168.25.150:2183 -cmd upconfig -confdir /usr/local/solrcloud/solrhome1/collection1/conf -confname myconf |
13. 如果务器出现报错，一定首先要看日志，以下为在启动时出现的报错。、
14.告诉solr服务zookeeper集群的位置。
修改每一台solr的tomcat 的 bin目录下catalina.sh文件中加入DzkHost指定zookeeper服务器地址：
JAVA_OPTS="-DzkHost=192.168.25.150:2181,192.168.25.150:2182,192.168.25.150:2183"
（可以使用vim的查找功能查找到JAVA_OPTS的定义的位置，然后添加）
通常zookeeper集群的机器个数为单数，leade,是在集群中通过投票的方式选出来的，具体的原理与架构，请看我的另一篇博客http://www.cnblogs.com/huangxu/p/5985274.html,如有错误及时通知，欢迎大家交流讨论QQ291716830。
