02 2018 档案
摘要：删除test-log索引 curl -XDELETE "127.0.0.1:9200/test-log" 查看es的索引 http://127.0.0.1:9200/_cat/indices?v 定时清理三天前的索引数据脚本 #!/bin/bash shijian=`date +%Y.%m.%d -
阅读全文
摘要：功能 采集数据，解析数据，上报数据至transfer 基本涵盖了系统层面监控指标，直接将数据转换为metricValue形式，上报至transfer 支持插件采集，代码插件放可受git管理，放置在plugin目录,从HBS中获取执行周期，版本等 支持数据直接上报，提供HTTPAPI，将收到的数据转换
阅读全文
摘要：2017/12/06_第2次修改 ccb_warlock 更新说明： 2017/12/06： 由于open-falcon已有0.2.1，增加文字说明，避免命令一路执行下来出现问题（例如“2.2 解压二进制包”）。 我也是因为工作需要刚刚接触linux，有些内容也是一知半解无法描述清楚，只能日后再进行
阅读全文
摘要：基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态（Session存储），加速一些热数据的查询（相比较mysql而言，速度有数量级的提升），做简单的消息队列（LPUSH和BRPOP）、订阅发布（PUB/SUB）系统等等。规模比较
阅读全文
摘要：#!/usr/bin/python# -*- coding: utf-8 -*- import sysimport osimport jsonfrom pymongo import MongoClientimport datetime #获取系统当前日期today = datetime.dateti
阅读全文
摘要：/ali/mongodb/bin/mongo -u user -p '123456' 127.0.0.1:27017/KYElog ISODate方式 db.col_02.find({"LogDT":{$gte:new Date("2018-02-06T01:16:33.303Z")}}) Date
阅读全文
摘要：Host-A 不能上网，但是需要在上面安装python-package 通过另外一台能上网的Host-B主机 1. 下载需要离线安装的Packages 在Host-B上执行如下命令： 安装单个Package 安装多个Packages 2. 将下载好的Packages拷贝至内网服务器 使用scp、sf
阅读全文
摘要：刚开始我找到的方案是利用 ElasticSearch 的 River 来同步数据，并在 GitHub 上到了 MongoDB River 插件：elasticsearch-river-mongodb。但是，随后我又在 ElasticSearch 官网上看了这篇博客：《Deprecating Rive
阅读全文
摘要：db.log_events.find() # 查找log_events里的所有数据 db.log_events.createIndex( { "LogDT": 1 }, { expireAfterSeconds: 3600 } ) #设置log_events里的TTL过期索引清理时间为3600秒 d
阅读全文
摘要：nohup /usr/share/kibana/bin/kibana -c /etc/kibana/kibana5602.yml & cp kibana.yml kibana5602.yml vim kibana5602.yml
阅读全文
摘要：input { redis { host => "127.0.0.1" port => 6380 data_type => "list" key => "phgj-list" }}filter { if [fields][tag] == "ph130-ingcn01" { grok { match
阅读全文
摘要：在工作过程中，我们难免会遇到这样的问题，我们想保存一些数据，但是我们对这些数据的要求并不高，有时候往往只是想要某个时间范围内的数据，比如我们如果永远只关心从当前时间往前推半年内的数据特性，那么我们就不需要将所有数据都保存起来，因为不仅浪费磁盘空间，而且随着数据量的不断累积，其他性能也会受到影响。 这
阅读全文
摘要：kibana做图表无法选取需要选的字段，即通过term的方式过滤选择某一个field时发现列表里无此选项。 再去discover里看，发现此字段前面带有问号，点击后提示这个字段未做索引，不能用于visualize和discover的搜索。 思考： 从源头查起，日志是logstash收集上来的，猜想可
阅读全文
摘要：合并多行以[为头 multiline:pattern: '^\['negate: truematch: after 过滤掉某行 filebeat.prospectors:- type: log paths: - /ali/logs/*.out multiline: pattern: '^\[' ne
阅读全文
摘要：例如： echo '[2018/02/02 08:34:43.032]' >> tomcat_catalina.out 过滤方式 "message" => "\[(?<log_time>%{NOTSPACE}%{SPACE}%{NOTSPACE})\]" { "log_time" => "2018/
阅读全文
摘要：CONFIG set maxclients 2000 #设置最大连接数 CONFIG GET maxclients #查询最大连接数 CONFIG REWRITE #写入配置文件 CONFIG GET tcp-keepalive
阅读全文
