ES集群搭建
（一） 准备
官网下载 es安装包
JDK版本： 1.8
注意：ES不能以root用户身份运行 确保运行用户对各使用到的目录的权限
获取安装包版本 6.2.4
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz
解压到安装目录
tar -xvf elasticsearch-6.2.4.tar.gz -C /opt
配置
# vim /etc/elasticsearch/elasticsearch.yml
cluster.name: myelk //17行(名称相同就是在一个集群里)
node.name: es1 //本机名称 23行
network.host: 0.0.0.0 // 54行
discovery.zen.ping.unicast.hosts: [“es1", “es2", “es3"] //发现集群节点 68行
启动
#cd /opt/elasticsearch-6.2.4/bin #./elasticsearch
#netstat –ltunp // 能够看到9200,9300被监听
# curl 192.168.1.51:9200 //通过浏览器或curl访问9200端口
启动时指定参数：
#./elasticsearch -Ecluster.name=my_cluster_name -Enode.name=my_node_name
了解启动脚本可用选项：
#./elasticsearch -h
ES集群配置
– 集群中的所有节点要相互能够ping通,要在所有集群机器上配置/etc/hosts中的主机名与ip对应关系
– 集群中所有机器都要安装Java环境
– cluster.name集群名称配置要求完全一致
– node.name为当前节点标识,应配置本机的主机名
– discovery为集群节点机器,不需要全部配置
– 配置完成以后启动所有节点服务
验证集群,使用ES内置字段 _cluster/health
curl http://192.168.1.51:9200/_cluster/health?pretty
{
"cluster_name" : "myelk",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 5,
"number_of_data_nodes" : 5, //表示集群中节点的数量
...
...
"active_shards_percent_as_number" : 100.0
}
返回字段解析
status : " green " 集群状态,绿色为正常,黄色表示有问题但不是很严重,红色表示严重故障
RESTful API 调用
Elasticsearch提供了一系列RESTful的API
– 检查集群、节点、索引的健康度、状态和统计
– 管理集群、节点、索引的数据及元数据
– 对索引进行CRUD操作及查询操作
– 执行其他高级操作如分页、排序、过滤等
POST或PUT数据使用json格式
JSON格式:
数组 ["aa", "bb", "cc"]
键值对 { key: value }
RESTful API的简单使用
_cat API查询集群状态,节点信息
例子：
http://192.168.1.51:9200/_cat/health?v //v参数显示详细信息
http://192.168.1.51:9200/_cat/health?help //help显示帮助信息
http://192.168.1.51:9200/_cat/nodes?v //nodes 查询节点状态信息
http://192.168.1.51:9200/_cat/indices?v //索引信息
RESTful API增加：
curl -XPUT http://192.168.1.55:9200/t3/ -d '{
"settings":{
"index":{
"number_of_shards": 5, //分片数量
"number_of_replicas": 1 //副本数量
}
}
}'
http://192.168.1.51:9200/_plugin/head/ //elaserch页面
增:PUT
RESTful API插入数据
– (增)加数据,使用 PUT 方法
– 调用方式: 数据库地址/索引/类型/id值
curl -XPUT http://192.168.1.51:9200/t3/n1/1 -d '{
"姓名":"李白",
"职业":"诗人",
"称号":"诗仙",
"年代":"唐"}'
改:POST
– 修(改)数据,使用 POST 方法
– 在修改数据的时候必须调用 _update 关键字
– 调用方式:数据库地址/索引/类型/id值/_update
curl -XPOST http://192.168.1.53:9200/t3/n1/2/_update -d '
{"doc":{"职业":"粉丝"}}'
文档
查：GET
– 查询使用 GET 方法,GET为默认方法
– 查询显示结果时候可以用 pretty 规范显示格式
– 多条查询需要使用 _mget 关键字配合 json 调用
curl -XGET 'http://192.168.1.55:9200/tedu/teacher/1'
删：DELETE
– 删除时候可以是文档,也可以是库,但不能是类型
curl -XDELETE 'http://192.168.1.55:9200/tedu/teacher/1'
curl -XDELETE 'http://192.168.1.55:9200/tedu'
批量导入数据
使用_bulk批量导入数据
– 批量导入数据使用POST方式,数据格式为json,url ;编码使用data-binary
– 导入含有index配置的json文件
# gzip -d logs.jsonl.gz //解压文件 # curl -XPOST 'http://192.168.1.51:9200/_bulk' --data-binary @logs.jsonl //导入 导入数据时,先查看数据,如有需要,自己添加库和表 web1 ~]# cat /var/log/httpd/access_log //访问日志 192.168.1.40 - - [13/Jun/2019:14:12:57 +0800] "GET / HTTP/1.1" 200 12 "-" "curl/7.29.0" ip地址 时间戳 访问方式 协议/版本号
