随笔分类 -  ELK

摘要：前言： 该文章将会介绍以下： 1，MySQL全文索引的使用 2，全文索引停止词STOPWORD 3，使用全文索引的高效和准确 最近事情比较少，刚好可以梳理一下以前的工作，做一下总结！ 在以前的解决方案中有介绍百万级如何使用MySQL全文索引方法，在没使用ELK前，线上13个实例的SQL日志都是手工导 阅读全文

摘要：当初分析日志，麻烦的是腾讯云的SQL审计日志下载，有下列限制： 1，单次最多1000万条下载 2，单个实例最多生成5条日志文件，多的要先删除以前文件才能生成 腾讯云日志文件生成界面： 一开始用手工下载，想想也不多，可以忍受，弄了一段时间后，研发的要求越来越高，不能一直这样手工，刚好旁边的运维小伙用G 阅读全文

摘要：上一篇介绍了用ELK分析4亿多条审计日志过程，现在介绍如何用Python3分析ES的程序 需要分析的核心库审计数据： 1，950多张表，几十个账号， 2，5种操作类型（select,update,insert,delete,replace），14个实例（1主13从库） 分析说明： select汇总： 阅读全文

摘要：KQL： {'query': {'bool': {'must': [{'match': {'Sql': 'insert'}}, {'match': {'PolicyName.keyword': 'd8t'}}, {'match': {'Sql': 'into'}}], 'should': [{'te 阅读全文

摘要：elasticsearch实现传统数据库中的or功能，需要使用bool下面的should关键字，对于A or B的情况，应该至少返回A和B中的一个，但是如下语句，不仅返回A和B中的至少一个，也返回了没有A也没有B的情况： { "query": { "bool": { "fileter":[ {"ra 阅读全文

摘要：前言： 该文章将会介绍以下： 1，快速分析SQL日志的几种方法 2，使用mysql的全文索引快速分析少量SQL审计 3，准确快速分析4亿多条审计SQL日志（过程和最终解决方案） 公司核心库拆库拆表，对表和账号分析，大量系统连接，1主13个从库，几十个账号，后来都开通了全SQL审计，14个实例的审计日 阅读全文

摘要：查询表明细： ELK的KQL样例，显示时间请选择最近15天： 样例1：查询ol_lc 表增删改查，不是jy2_rw的账号明细 KQL：（ol_lc or oc.ol_lc) and (select or update or delete or insert or replace) and not U 阅读全文