随笔分类 -  分布式

es logstash kibana ……
elasticsearch mapping问题解决
摘要：1.报错信息如下： 日期格式不对报错，解决办法如下，建立一个map,关掉日期格式检测，对需要日期格式的字段加上date类型字段。这里也实现了field限制，将默认的1000加到了3000. 报错： 这个ignore_malformed设置为true解决 阅读全文
posted @ 2018-07-16 17:28 行知散人 阅读(15378) 评论(0) 推荐(0) 编辑
filebeat.service
摘要：# # filebeat systemd service # [Unit] Description=Filebeat Documentation=https://www.elastic.co/guide After=network.target [Service] Type=simple Restart=always WorkingDirectory=/var/lib/filebeat Ex... 阅读全文
posted @ 2018-06-15 15:11 行知散人 阅读(344) 评论(0) 推荐(0) 编辑
filebeat 选项
摘要：Filebeat Options input_type: log|stdin 指定输入类型 paths 支持基本的正则，所有golang glob都支持,支持/var/log/*/*.log encoding plain, latin1, utf-8, utf-16be-bom, utf-16be, 阅读全文
posted @ 2018-06-15 14:56 行知散人 阅读(525) 评论(0) 推荐(0) 编辑
codis安装部署
只有注册用户登录后才能阅读该文。
posted @ 2018-04-18 09:29 行知散人 阅读(4) 评论(0) 推荐(0) 编辑
es redis logstash 日志收集系统排错
摘要：用logstash收集日志并发送到redis，然后通过logstash取redis数据写入到es集群，最近kibana显示日志总是中断，日志收集不过来，客户端重启发现报错： 根据报错推断redis满了，在客户端清空redis 重启收集端的logstash 可以重新写入数据，由此判断有进程不断写入re 阅读全文
posted @ 2018-01-11 11:35 行知散人 阅读(431) 评论(0) 推荐(0) 编辑
es number_of_shards和number_of_replicas
摘要：number_of_replicas 是数据备份数，如果只有一台机器，设置为0 number_of_shards 是数据分片数，默认为5，有时候设置为3 可以在线改所有配置的参数，number_of_shards不可以在线改 curl -XPUT '10.0.120.39:9200/_setting 阅读全文
posted @ 2017-12-13 11:01 行知散人 阅读(45938) 评论(1) 推荐(3) 编辑
es模板
摘要：Index Templatesedit Index Templatesedit Index Templatesedit Index Templatesedit Index templates allow you to define templates that will automatically 阅读全文
posted @ 2017-12-13 10:52 行知散人 阅读(2431) 评论(0) 推荐(0) 编辑
elasticsearch 索引设置
摘要：索引设置 你可以通过很多种方式来自定义索引行为，你可以阅读Index Modules reference documentation，但是： 提示: Elasticsearch 提供了优化好的默认配置。除非你明白这些配置的行为和为什么要这么做，请不要修改这些配置。 下面是两个最重要的设置： numb 阅读全文
posted @ 2017-12-12 14:34 行知散人 阅读(2681) 评论(0) 推荐(0) 编辑
es迁移索引数据合并
摘要：es集群迁移，大规模迁移过程中，比如我们以当天时间做索引，在新的es集群会存在和老的es集群一样的索引文件名，这个时候用snapshot恢复数据会出现冲突问题。这里我们可以用reindex api来解决： 这里有两种方式使用 1.先在原来的es集群将迁移当天的索引文件名reindex,然后做快照，然 阅读全文
posted @ 2017-11-30 15:57 行知散人 阅读(6835) 评论(0) 推荐(1) 编辑
logstash5 单实例多配置文件实现
摘要：有些服务器上有多个服务，要使用单个logstash收集日志，因为有多个配置文件，刚开始使用 启动,etc下面放多个配置文件，但是出现ruby错误，改为： 指定单个配置文件实现启动多个进程传输日志，每个进程要指定不同的--path.data，不然启动报错 阅读全文
posted @ 2017-11-28 18:20 行知散人 阅读(648) 评论(0) 推荐(0) 编辑
elasticsearch 使用快照方式迁移数据
摘要：注册快照仓库 ES是通过快照的方式来实现数据备份，并且是以增量的方式，所以一般第一次做的话会花费较长的时间。为了做快照，那么就需要注册一个快照仓库，告诉ES我们的快照应该如何保存以及将快照保存到哪里. ES的快照仓库支持如下几种形式： 共享的文件系统，如NAS Amazon S3 HDFS (Had 阅读全文
posted @ 2017-11-22 16:48 行知散人 阅读(4586) 评论(0) 推荐(0) 编辑
es快照和备份
摘要：注册前要注意配置文件加上 path.repo: ["/data/es_backup"] 然后重启es 不然会报错doesn't match any of the locations specified by path.repo because this setting is empty" 注册一个仓 阅读全文
posted @ 2017-10-20 14:43 行知散人 阅读(7157) 评论(0) 推荐(0) 编辑
elasticsearch 单节点实现
摘要：一、安装java环境，这么不说了，一般用源码安装，配置好环境变量 二、新建es用户和组，es不能用root启动 三、下载需要的稳定版es 四、解压安装es 五、修改es配置文件 -Xms2g-Xmx2g 六、修改系统参数 七、创建目录 八、使用systemd管理进程 ES_USER="es"ES_G 阅读全文
posted @ 2017-10-19 11:18 行知散人 阅读(1133) 评论(0) 推荐(0) 编辑
logstash5安装并实现mariadb数据写入到elasticsearch
摘要：java环境这里默认安装了 ，一般源码安装，这里就不说了 一、安装logstash 安装logstash可以用yum安装，也可以用源码安装： yum安装： 1.导入GPG: 2.创建repo文件，vim /etc/yum.repos.d/logstash.repo 3.安装logstash 二、源码 阅读全文
posted @ 2017-10-18 14:54 行知散人 阅读(802) 评论(0) 推荐(0) 编辑
elasticsearch报错syncedb_path
摘要：一般默认syncdb_path在$HOME目录下隐藏文件，也可以自己指定一个文件，记住，这里只能指定文件，不能只写目录input { file { path => "/home/tom/testData/*.log" type => "log" start_position => "beginnin 阅读全文
posted @ 2017-06-26 14:52 行知散人 阅读(189) 评论(0) 推荐(0) 编辑
elk systemd管理
摘要：elasticksearch kibana logstash systemd 阅读全文
posted @ 2017-05-25 10:26 行知散人 阅读(860) 评论(0) 推荐(0) 编辑
elk升级文档
摘要：1.kibana等都统一版本了，5.4版本的kibana要5.4版本的elasticsearch 2.现有架构： logstash logstash读取日志 》内网redis做队列 》写入elasticsearch集群 》kibana读取集群数据 3.升级版本要求： Upgrade From Upg 阅读全文
posted @ 2017-05-20 10:02 行知散人 阅读(957) 评论(0) 推荐(0) 编辑