哈喽哈喽111111

2019年8月28日

filebeat->redis->logstash->elasticsearch->kibana

摘要：整体流程 1. filebeat收集openresty应用日志传输到Redis集群中 2. Logstash从Redis集群中拉取数据，并传输到Elasticsearch集群 3. 使用Kibana可视化索引 4. 使用Elasticsearch head管理lasticsearch集群注：Log 阅读全文

posted @ 2019-08-28 18:04 哈喽哈喽111111 阅读(912) 评论(0) 推荐(0) 编辑

使用filebeat收集日志传输到redis的各种效果展示

摘要： 0 环境 Linux主机，cengtos7系统安装有openresty软件，用来访问生成日志信息 1.15.8版本安装有filebeat软件，用来收集openresty的日志 7.3版本安装有redis软件，用来接收filebeat发送过来的日志，5.0.5版本 fields_under_ro 阅读全文

posted @ 2019-08-28 11:19 哈喽哈喽111111 阅读(5791) 评论(0) 推荐(0) 编辑

logstash7.3版本不支持从redis集群中拉取数据

摘要： filebeat可以把收集到的日志传输到redis集群中，但是logstash如何从从redis集群中拉取数据的呢？ ogstash使用的是7.3版本经过查看官网文档，发现logstash7.3版本不支持从redis集群中拉取数据 host参数的值是string，不支持列表 Redis input 阅读全文

posted @ 2019-08-28 10:49 哈喽哈喽111111 阅读(778) 评论(0) 推荐(0) 编辑

使用SecureCRT 8.5快速打开sftp传输文件

摘要：一般使用Windows系统上安装的SecureCRT 8.5软件远程连接Linux服务器，通常给Linux系统传输文件或者使用FTP，或者使用SFTP等其他第三方软件，有时Linux系统上还需要做其他操作才行。这次直接使用SecureCRT 8.5自带的sftp功能传输文件在SecureCRT 阅读全文

posted @ 2019-08-28 09:51 哈喽哈喽111111 阅读(3350) 评论(0) 推荐(0) 编辑

使用filebeat收集不同用应用的日志传输到redis,并加以区分

摘要：附加技巧步骤流程：使用filebeat收集一台主机上两个不同应用的日志，传递给redis,然后logstash从redis中拉去数据传递给elasticsearch 1.filebeat.yml文件配置 2.logstash目录下conf.d/ .conf文件配置如下是redis列表值中的两条阅读全文

posted @ 2019-08-28 09:02 哈喽哈喽111111 阅读(2908) 评论(0) 推荐(0) 编辑

2019年8月27日

自动清理ES索引脚本

摘要： ```bash /bin/bash 指定日期(3个月前) DATA= 当前日期 time= 删除3个月前的日志 curl XDELETE http://127.0.0.1:9200/ ${DATA} if [ $? eq 0 ];then echo $time" del $DATA log succ 阅读全文

posted @ 2019-08-27 18:03 哈喽哈喽111111 阅读(1025) 评论(0) 推荐(0) 编辑

根据日志来源的不同生成不同的index索引

摘要：使用filebeat收集系统日志，不同应用的日志，然后把这些日志传输给Logstash，再然后交由elasticsearch处理，那么如何区分不同的日志来源呢？ 1. filebeat.yml配置文件中不启动模块，全部使用如下方式输出日志 2.logstash目录下conf.d/ .conf配置文件阅读全文

posted @ 2019-08-27 08:59 哈喽哈喽111111 阅读(1550) 评论(3) 推荐(0) 编辑

logstash启动时找不到自定义的JAVA_HOME环境变量

摘要： logstash java 版本问题配置logstash收集应用日志时出现报错，说是找不到JAVA_HOME环境变量，但是明明已经设置了 logstash要求java 1.8以上，查看生产环境：查看logstash启动脚本,没有关于java_home之类的相关配置，但是有一项： "$(cd /. 阅读全文

posted @ 2019-08-27 08:54 哈喽哈喽111111 阅读(5871) 评论(1) 推荐(0) 编辑

2019年8月26日

ElasticSearch基础知识讲解

摘要：第一节 ElasticSearch概述 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfull web接口。ElasticSearch是用java开发的，设计用户云计算当中，能够达到实时搜索。概述：ElasticSearch是阅读全文

posted @ 2019-08-26 10:16 哈喽哈喽111111 阅读(972) 评论(0) 推荐(0) 编辑

安装ELK平台 7.3.0版本

摘要： 0. 事前准备工作 0.1 防火墙若是使用公网IP的话可以考虑关闭防火墙，或者放行相应端口使用内网IP的话可以不用管防火墙 0.2 关闭SElinux 文件：/etc/selinux/config 0.3 内核优化文件：/etc/security/limits.conf，在最后加入如下内容: 阅读全文

posted @ 2019-08-26 10:15 哈喽哈喽111111 阅读(1499) 评论(0) 推荐(0) 编辑

2019年8月23日

VeryNginx详细配置说明

摘要：自定义行为 ( Custom Action ) 匹配器 (Matcher) 匹配器 VeryNginx 会收到各种各样的Http请求，当我们定义一条规则（Action）的时候，我们可能会需要限定，这条规则只对一部分请求起作用，Matcher 就是匹配器，用来描述哪一部分 Http 请求是规则的目标。阅读全文

posted @ 2019-08-23 15:34 哈喽哈喽111111 阅读(2667) 评论(0) 推荐(0) 编辑

VeryNginx故障排除

摘要：在安装和使用 VeryNginx 的过程中可能会遇到一些问题，下面列举了常见的问题及对应的解决方案，供参考。 Q: run "python instal.py install all" failed ？ 1, 因为缺少 gcc 所以无法编译 yum install gcc 2, 缺少一些必要的库，如阅读全文

posted @ 2019-08-23 15:16 哈喽哈喽111111 阅读(600) 评论(0) 推荐(0) 编辑

VeryNginx中文文档

摘要： VeryNginx VeryNginx 是一个功能强大而对人类友好的 Nginx 扩展程序. 提示 v0.2 /verynginx/index.html 中文控制台入口被移动到了 `/verynginx/index_zh.html 介绍 VeryNginx 基于开发，实现了高级的防火墙、访问统计和阅读全文

posted @ 2019-08-23 15:14 哈喽哈喽111111 阅读(1491) 评论(0) 推荐(0) 编辑

2019年8月22日

Openresrt最佳案例

摘要：第1篇：Nginx介绍 Nginx是一个高性能的Web 服务器，同时是一个高效的反向代理服务器，它还是一个IMAP/POP3/SMTP 代理服务器。由于Nginx采用的是事件驱动的架构，能够处理并发百万级别的tcp连接，高度的模块化设计和自由的BSD许可，使得Nginx有着非常丰富的第三方模块。比阅读全文

posted @ 2019-08-22 18:27 哈喽哈喽111111 阅读(1022) 评论(0) 推荐(0) 编辑

Lua教程

摘要： Lua 入门教程 Lua 入门教程 Lua 是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。 Lua 是巴西里约热内卢天主教大学（Pontifical Catholic University of Rio de 阅读全文

posted @ 2019-08-22 18:26 哈喽哈喽111111 阅读(1239) 评论(0) 推荐(0) 编辑

浏览器给openresty连接发送参数请求，查询数据库，并返回json数据

摘要： nginx.conf配置文件 test_mysql.lua文件 openresty下lualib目录结构阅读全文

posted @ 2019-08-22 18:25 哈喽哈喽111111 阅读(1732) 评论(0) 推荐(0) 编辑

2019年8月21日

docker基础知识

摘要：一、认识 1.什么是docker Docker 是一个开源项目，诞生于 2013 年初，最初是 dotCloud 公司内部的一个业余项目。它基于 Google 公司推出的 Go 语言实现。项目后来加入了 Linux 基金会，遵从了 Apache 2.0 协议，项目代码在 GitHub 上进行维护。阅读全文

posted @ 2019-08-21 17:39 哈喽哈喽111111 阅读(644) 评论(0) 推荐(0) 编辑

limux密钥对配置登陆主机

摘要： 1. Linux主机免密码使用密钥登陆这里假设主机A（192.168.0.113）用来远程连接主机B（192.168.0.186）在主机A上执行如下命令来生成配对密钥：参数指定加密算法为rsa，参数指定密钥长度，可以是1024、2048、3072等等，位数越长，被暴力破解所需的时间越久遇到阅读全文

posted @ 2019-08-21 10:16 哈喽哈喽111111 阅读(626) 评论(0) 推荐(0) 编辑

2019年8月20日

在线修改大表结构pt-online-schema-change

摘要：使用场景在线数据库的维护中，总会涉及到研发修改表结构的情况，修改一些小表影响很小，而修改大表时，往往影响业务的正常运转，如表数据量超过500W，1000W，甚至过亿时在线修改大表的可能影响在线修改大表的表结构执行时间往往不可预估，一般时间较长由于修改表结构是表级锁，因此在修改表结构时，影响表阅读全文

posted @ 2019-08-20 15:12 哈喽哈喽111111 阅读(956) 评论(0) 推荐(0) 编辑

jumpserver-1.4.8安装步骤

摘要： 1. 组件说明 Jumpserver 为管理后台, 管理员可以通过 Web 页面进行资产管理、用户管理、资产授权等操作, 用户可以通过 Web 页面进行资产登录, 文件管理等操作 koko 为 SSH Server 和 Web Terminal Server 。用户可以使用自己的账户通过 SSH 或阅读全文

posted @ 2019-08-20 15:10 哈喽哈喽111111 阅读(1664) 评论(0) 推荐(0) 编辑

2019年8月19日

堡垒机使用普通用户密钥方式登陆资产，然后新创建普通用户管理资产

摘要： 0. 说明资产服务器：需要被堡垒机管理的服务器 Jumpserver平台：部署有Jumpserver的服务器管理用户：资产服务器上的已有用户系统用户:资产服务器上有的或者没有的用户 1. 资产服务器操作 1. 使用root用户登陆上资产服务器，创建一个普通用户，授予sudo NOPASSWD权阅读全文

posted @ 2019-08-19 13:00 哈喽哈喽111111 阅读(3699) 评论(0) 推荐(0) 编辑

2019年8月15日

使用python的subprocess模块调用linux系统命令

摘要： subprocess模块主要有call()、check_call()、check_output()、Popen()函数,简要描述如下： Main API ======== call(...): Runs a command, waits for it to complete, then return 阅读全文

posted @ 2019-08-15 18:13 哈喽哈喽111111 阅读(3491) 评论(0) 推荐(0) 编辑

MySQL数据表操作命令

摘要： mysql语句： 1、修改表名： rename table 旧表名 to 新表名; 2、修改字段类型： alter table 表名 modify column 字段名字段类型（长度） 3、修改字段名称和类型： alter table 表名 change 现有字段名称修改后字段名称数据类型 4 阅读全文

posted @ 2019-08-15 17:51 哈喽哈喽111111 阅读(555) 评论(0) 推荐(0) 编辑

部署SonarQube代码检测服务并结合Jenkins使用

摘要：一、SonarQube部署前的内核参数等配置以及java环境配置 1. 修改内核参数配置，使满足环境要求 2. 修改本机安全策略参数限制 3. 配置java环境若配置java高版本的需要在sonarqube官网查看是否支持 4. 主机内存要求至少需要3G的内存二、数据库准备 sonarqube 阅读全文

posted @ 2019-08-15 14:25 哈喽哈喽111111 阅读(1318) 评论(0) 推荐(0) 编辑

2019年8月14日

下载MySQL的rpm包安装MySQL

摘要：阅读全文

posted @ 2019-08-14 18:27 哈喽哈喽111111 阅读(8446) 评论(0) 推荐(0) 编辑

使用Jenkins结合Gogs和SonarQube对项目代码进行测试、部署、回滚，以及使用keepalived+haproxy调度至后端tomcat

摘要： 0 环境说明主tomcat:192.168.0.112 备tomcat:192.168.0.183 haproxy+keepalived 1:192.168.0.156 haproxy+keepalived 2:192.168.0.157 git: 尚未部署 sonar scanner：尚未部署阅读全文

posted @ 2019-08-14 17:56 哈喽哈喽111111 阅读(1147) 评论(0) 推荐(1) 编辑

Gogs官方帮助文档

摘要：环境要求数据库（选择以下一项）： "MySQL" ：版本 = 5.7 "PostgreSQL" "MSSQL" "TiDB" （实验性支持，使用 MySQL 协议连接）或者什么都不安装直接使用 SQLite3 git （bash）：服务端和客户端均需版本 = 1.7.1 Windows 系阅读全文

posted @ 2019-08-14 15:03 哈喽哈喽111111 阅读(8640) 评论(0) 推荐(0) 编辑

Centos7 用gogs搭建git仓库

摘要： 0、安装步骤先安装依赖，然后创建数据库，创建git用户，安装Gogs软件，设置启动，访问web界面进行配置一、Gogs依赖环境安装Gogs之前需要配置相应的依赖环境，官网介绍的依赖环境如下： 1. 数据库（选择以下一项）： MySQL：版本 = 5.5.3 PostgreSQL 或者什么都不阅读全文

posted @ 2019-08-14 15:02 哈喽哈喽111111 阅读(744) 评论(0) 推荐(0) 编辑

2019年8月13日

通过设置访问密码查看Tomcat服务器运行状态

摘要： 1. 安装tomcat 2. 设置访问manager用户名，密码 3. 设置允许连接的网络阅读全文

posted @ 2019-08-13 10:33 哈喽哈喽111111 阅读(902) 评论(0) 推荐(0) 编辑

2019年8月12日

在CentOS 7系统下升级 Jenkins版本

摘要：使用yum方式安装的war文件路径：/usr/lib/jenkins/jenkins.war 1. 查看war包所在的目录 2. 停止Jenkins 服务 3. 备份war包 4. 下载最新war包下载地址：https://updates.jenkins ci.org/download/war/ 阅读全文

posted @ 2019-08-12 18:00 哈喽哈喽111111 阅读(1043) 评论(0) 推荐(0) 编辑

CentOS 7系统安装Jenkins

摘要： ``` wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat/jenkins.repo rpm --import https://pkg.jenkins.io/redhat/jenkins.io-2023.key yu 阅读全文

posted @ 2019-08-12 17:52 哈喽哈喽111111 阅读(596) 评论(0) 推荐(0) 编辑

shell脚本获取的参数

摘要：阅读全文

posted @ 2019-08-12 17:20 哈喽哈喽111111 阅读(2566) 评论(0) 推荐(0) 编辑

CentOS7实现Nginx+Tomcat 负载均衡

摘要： 0. 说明将nginx作为负载均衡器，反向代理，tomcat作为节点服务器 192.168.100.201:nginx服务器 192.168.100.202:Tomcat 1服务器 192.168.100.203:Tomcat 2服务器 1. 软件存放路径：/usr/local/src apac 阅读全文

posted @ 2019-08-12 17:18 哈喽哈喽111111 阅读(726) 评论(0) 推荐(0) 编辑

CentOS7部署Tomcat服务器

摘要： 1. 软件存放路径：/usr/local/src apache tomcat 9.0.22.tar.gz openjdk 12_linux x64_bin.tar.gz 2.事先配置启动后关闭防火墙，关闭selinux 3.配置java 3.1 解压缩到指定目录并重命名 3.2 建立java.s 阅读全文

posted @ 2019-08-12 17:17 哈喽哈喽111111 阅读(1131) 评论(0) 推荐(0) 编辑

ElasticSearch集群

摘要： ElasticSearch集群的部署在分布式系统中，应用数量众多，应用调用链复杂，常常使用ELK作为日志收集、分析和展示的组件。本篇文章将讲讲解如何部署ELK，然后讲解如何使用Filebeat采集Spring Boot的日志输出到Logstash上，logstash再将日志输出到Elastics 阅读全文

posted @ 2019-08-12 09:01 哈喽哈喽111111 阅读(1090) 评论(0) 推荐(0) 编辑

2019年8月9日

linux 保留yum安装后的rpm包

摘要：在linux上，使用yum安装，默认安装完成之后会删除下载的rpm包；想要yum安装软件后，还保留安装包，那么需要修改/etc/yum.conf配置文件中的keepcache参数。把文件夹下的所有rpm包复制到指定文件夹批量安装rpm包把所有的rpm包放在一个目录下。阅读全文

posted @ 2019-08-09 14:02 哈喽哈喽111111 阅读(1590) 评论(0) 推荐(0) 编辑

使用openresty实现按照流量百分比控制的灰度分流控制

摘要：安装好以后直接就可以配置实践了，openresty将lua都集成好了，nginx配置文件无需特殊声明引入lua file。 1.nginx.conf 添加两个灰度发布的环境 grey 灰度环境地址 prd生产环境地址 http块操作 server块操作,添加对应location bash [root 阅读全文

posted @ 2019-08-09 10:28 哈喽哈喽111111 阅读(2006) 评论(0) 推荐(0) 编辑

2019年8月8日

使用Nginx+Openresty实现WAF功能

摘要：什么是WAF Web应用防护系统（也称为：网站应用级入侵防御系统。英文：Web Application Firewall，简称： WAF）。利用国际上公认的一种说法：Web应用防火墙是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。实现WAF 两种方式 1. 阅读全文

posted @ 2019-08-08 18:22 哈喽哈喽111111 阅读(7713) 评论(0) 推荐(0) 编辑

GoAccess操作手册

摘要：名字 GoAccess 可视化 Web 日志分析工具。语法描述 GoAccess 是一款开源(MIT许可证)的且具有交互视图界面的实时 Web 日志分析工具，通过你的 Web 浏览器或者 nix 系统下的终端程序即可访问。能为系统管理员提供快速且有价值的 HTTP 统计，并以在线可视化服务器的阅读全文

posted @ 2019-08-08 16:43 哈喽哈喽111111 阅读(1136) 评论(0) 推荐(0) 编辑

GoAccess安装

摘要：编译安装注意：仅仅需要依赖 ncurses 模块。提示：如果需要使用实时 HTML 报告，请确保开放 7890 端口。验证安装是否成功：或者最简单的使用yum方式安装：，不过不是最新版的编译选项 GoAccess 拥有多个配置选项。获取完整的最新配置选项列表，请运行：./config 阅读全文

posted @ 2019-08-08 16:42 哈喽哈喽111111 阅读(1259) 评论(0) 推荐(0) 编辑