随笔分类 - elk
eleasicsearce - logstash - kibana
|grep cat
摘要：1.nginx -- filebeat -- es -- kibana [root@VM-1-12-centos filebeat-6.4.3-linux-x86_64]# cat filebeat.yml filebeat.inputs: - type: log enabled: true pat
阅读全文
摘要：1.[BABEL] Note: The code generator has deoptimised the styling of "unknown" as it exceeds the max of " [BABEL] Note: The code generator has deoptimise
阅读全文
摘要：1.timelion .es(q='status:200',index=filebeat-testindex*,timefield=@timestamp,metric=count).label('200'),.es(q='status:502',index=filebeat-testindex*,t
阅读全文
摘要：1.redis-elasticsearch-kafak Kafka我们主要用来处理消息的（解耦异步削峰）。数据到Kafka，Kafka会将数据持久化到硬盘中，并且Kafka是分布式的（很方便的扩展），理论上Kafka可以存储很大的数据。但是Kafka的数据我们不会「单独」取出来。持久化了的数据，最常
阅读全文
摘要：1.授权成功：corpId:wx6055e3db17b8bb4ccd /mnt/data/logs;grep -anr -C 100 "授权成功：corpId:wx6055e3db17b8bb4c" wxqyh_1808{6,7,8,9}/log4j.log > log.txt 2.cd /mnt/
阅读全文
摘要：1.默认查询接口会搜索所有的shard，但也可以指定routing字段，这样就只会查询routing计算出来的shard，提高查询速度。 --使用routing会导致docid不再全局唯一 使用方式也非常简单，只需在查询语句上面指定routing即可，允许指定多个： -- 查询所有分区 GET ro
阅读全文
摘要：-1.https://www.elastic.co/guide/en/elasticsearch/reference/7.2/removal-of-types.html include_type_name 0.概念 The force merge API allows to force mergin
阅读全文
摘要：一、在公有云服务器上备份ES 1、创建备份repo curl -uelastic:'ES&ceshi720' -XPUT "http://172.30.0.17:9200/_snapshot/my_cos_backup" -d '{"type": "cos","setti,"access_key_s
阅读全文
摘要：1.问题：ES中数据长度过长，表字段的长度 没那么长， 保存不了数据，导致报错 2.解决方案：将ES中orgId=2efc32ee89074e919afa2219e3cace53的租户数据中，personName属性值截断为32位。 1、索引名：addressbook_user 2、查询条件：org
阅读全文
摘要：0.读写原理 https://www.jianshu.com/p/e8226138485d 数据模型 1.副本 curl -H 'Content-type:application/json' -XPUT '10.0.0.205:9200/*/_settings' -d ' { "index" : {
阅读全文
摘要：1.update_by_query PUT myindex/_doc/1 { "name":"a" } POST myindex/_update_by_query { "script":{ "lang":"painless", "inline": "ctx._source.newfield='new
阅读全文
摘要：1.对所有索引去只读 curl -XPUT -H 'Content-Type: application/json' http://192.168.1.156:9200/_settings -d ' { "index": { "blocks": { "read_only_allow_delete":
阅读全文
摘要：1.logstash配置 [root@k8s pipeline]# cat test.conf input { file { path => ["/tmp/localhost_access_log.2020-01-04.txt"] type => "nodelog" } } filter { } o
阅读全文
摘要：0.修改时区(前提条件已经安装好elk7.2) rm -f /etc/localtimecp /usr/share/zoneinfo/Asia/Shanghai /etc/localtimetimedatectl set-timezone Asia/Shanghai 1.升级python # 安装依
阅读全文
摘要：1.http://192.168.1.144:9093/#/alerts 显示的告警时间是UTC时间 2.脚本的变量 {"status":"success"}[root@k8s elasticsearch]# cat vars_config.conf|egrep -v '#' INDEX_FILE=
阅读全文
摘要：安装elasticdump (预计20分钟 ) mkdir /data/nodejs cd /data/nodejs wget https://nodejs.org/dist/v10.16.2/node-v10.16.2-linux-x64.tar.xz tar xvf node-v10.16.2-
阅读全文
摘要：1.POST和PUT都可以用于创建 2.PUT是幂等方法，POST不是。所以post用户更新，put用于新增比较合适。 参考：https://yq.aliyun.com/articles/366099 https://www.bbsmax.com/A/xl56bqb15r/ curl -XGET h
阅读全文
摘要：1.安装elastic searchdump mkdir /data/nodejs cd /data/nodejs wget https://nodejs.org/dist/v10.16.2/node-v10.16.2-linux-x64.tar.xz tar xvf node-v10.16.2-l
阅读全文
摘要：0.拓扑图 参考：https://www.cnblogs.com/JetpropelledSnake/p/10057545.html 官网： http://kafka.apache.org/documentation.html#introduction kafka原理 https://www.cnb
阅读全文
摘要：1.es与MySQL的概念对比 2.概念理解 2.1 Index : 一个索引即是文档的集合 2.2 Document : 一个文档即是一个可被索引的基础单元信息，一条记录； 2.3 Replicas : 索引一份或多份存储，可以理解成冗余存储以防数据丢失； 2.4 shards : 一个索引被截断
阅读全文
